(AAPE Vol. 12 No. 20 Gaviria, Mart\355nez-Arias y Castro: Un Estu...) 1 of 31 Revista Académica evaluada por pares Editor: Gene V Glass College of Education Arizona State University El Copyright es retenido por el autor (o primer coautor) quien otorga el derecho a la primera publicación a Archivos Analíticos de Políticas Educativas. AAPE es un proyecto de Education Policy Studies Laboratory. Los artículos que aparecen en AAPE son indexados en el Current Index to Journals in Education por ERIC Clearinghouse on Assessment and Evaluation y son archivados permanentemente en Resources in Education. Volumen 12 Numero 20 Mayo 5, 2004 ISSN 1068-2341 Editores Asociados para Español y Portugués Gustavo Fischman Arizona State University Pablo Gentili Laboratorio de Políticas Públicas Universidade do Estado do Rio de Janeiro Un Estudio Multinivel Sobre los Factores de Eficacia Escolar en Países en Desarrollo: El Caso de los Recursos en Brasil José Luis Gaviria Universidad Complutense de Madrid Rosario Martínez-Arias Universidad Complutense de Madrid María Castro Universidad de Murcia Citation: Gaviria, J. Martínez-Arias, R. & Castro, M. (2004, Mayo 5). Un Estudio Multinivel Sobre los Factores de Eficacia Escolar en Países en Desarrollo: El Caso de los Recursos en Brasil. Education Policy Analysis Archives, 12(20).Retrieved [Date] from http://epaa.asu.edu/epaa/v12n20/. 2 of 31 Resumen La investigación clásica sobre eficacia escolar afirma que los recursos educativos no tienen incidencia en el rendimiento académico de los alumnos. Dicha investigación se ha realizado en países desarrollados, donde no hay graves problemas económicos en los sistemas educativos. Sin embargo, estos resultados han justificado ciertas políticas educativas de organismos internacionales para países en vías de desarrollo. En este trabajo se ha realizado una explotación secundaria de los datos de la evaluación de la educación básica de Brasil en 1995. Concretamente se ha realizado un estudio multinivel con datos de alumnos (6.471), profesores y escuelas (975), y Estados Federados brasileños (27). Su principal conclusión es que los recursos educativos tienen un importante impacto en el desarrollo académico de los alumnos, tanto en lo que se refiere a la cantidad y calidad de recursos como, sobre todo, a su utilización. Note 1 Abstract Classic research on school effectiveness ensures that the material resources of schools do not have any relevant effects on the academic performance of the pupils. Such research was carried out in developed countries, with no serious economic problems. This research is based on a secondary data analysis from the evaluation of basic education in Brazil in 1995. Specifically, a multi-level study has been performed with data on pupils (6.471), teachers and schools (975), and the Brazilian Federal States (27). The main conclusion is that educational resources have an important impact on the academic development of the pupils, both with regard to the amount and quality of the resources and, above all, the use to which they are put. 1. Planteamiento Del Problema De Investigación 1.1. Los recursos en la investigación sobre eficacia de las escuelas El movimiento de investigación sobre Eficacia Escolar está dirigido al análisis de los factores que hacen que el “valor añadido ” al desarrollo integral de todos los alumnos por una determinada escuela sea mayor que el conseguido por otra. Desde su aparición hace ahora más de 30 años, ha tenido lugar una evolución en los modelos y las técnicas de análisis utilizadas, las variables y factores estudiados, los instrumentos de recogida de datos, etc. De esta forma se han atravesado diferentes etapas, cada una de ellas con sus particularidades conceptuales y metodológicas (p.e. Creemers, 1996), pero el resultado final siempre ha sido una lista más o menos larga de factores de eficacia. Así aparecieron los cinco factores de Rutter et al. (1979), listas elaboradas como resultado de investigaciones como las de Reynolds (1985) y Mortimore et al. (1988) en Inglaterra o Teddlie y Stringfield 3 of 31 (1993) en Estados Unidos, o las listas surgidas de revisiones de trabajos como los realizados por Levine y Lezotte (1990), la American Association of School Administrators (1992), Scheerens (1992), Reynolds et al. (1994), Sammons, Hillman y Mortimore (1995) o Townsend (1997). En los últimos años se ha intentado superar la elaboración de estas listas para proponer modelos comprensivos de eficacia. En esa línea se encuentran los modelos de Scheerens (1992), que pone el acento en la escuela, y de Creemers (1994), en el que el aula ha ganado protagonismo. Resulta llamativo comprobar que en ninguna de las listas mencionadas ni en los modelos comprensivos de eficacia propuestos hasta el momento aparecen los recursos como un factor clave que determina la eficacia de las escuelas. Y ello no puede ser achacable a la escasa consideración que ha tenido este aspecto. Las cuestiones relacionadas con los recursos escolares han sido y siguen siendo una constante en la literatura sobre eficacia escolar. Ciertamente, es una idea muy tentadora suponer la existencia de una relación directa entre ciertos inputs y el output deseado del sistema. Si conociésemos la relación de producción del sistema educativo, lograr la mejora deseada de los outputs sería una simple cuestión de control de los inputs y su adecuada distribución en el sistema. Conocer una relación causal entre cierto tipo de inputs y los outputs del sistema supondría para los administradores del mismo la posesión de una poderosa palanca de intervención. Por tanto, no es la falta de investigación lo que genera esta ausencia de consideración, sino simplemente la inexistencia de una relación causal entre los recursos y el rendimiento académico. Es más, las críticas a los resultados del informe Coleman (1966) provinieron tanto del enfoque metodológico, el llamado input-output, como de las técnicas estadísticas utilizadas, como por considerar exclusivamente las variables más fácilmente medibles (p.e. los recursos educativos) y olvidarse de otras tales como el clima o las expectativas de los docentes. De una forma mas específica, en una revisión de la literatura realizada por Hanushek (1997a), que incluye más de 400 estudios sobre la relación entre recursos escolares y rendimiento académico, se demuestra que no existe una relación ni fuerte ni consistente entre estos dos elementos. Vamos a mencionar solamente algunos de los datos que consideramos más ilustrativos. Por ejemplo, si se analizan los recursos del aula, solo en un 9% de los estudios (sobre un N total de 171) se encuentra una relación significativa entre el rendimiento y el nivel educativo alcanzado por el profesor. Del mismo modo, la ratio profesor-alumno sólo afecta de forma positiva y significativa en el 15% de los estudios (N=277). La magnitud de estos últimos resultados se acentúa cuando se observa que el 13% de las investigaciones sobre ratio ofrecen resultados negativos y significativos sobre el rendimiento académico. Algo similar ocurre con las variables salario del profesor (20%) y gasto por niño (27%). La incidencia positiva y significativa de los recursos materiales es encontrada en el 9% de los trabajos revisados (N=91), y la mayoría de las investigaciones muestra la influencia no significativa de este tipo de recursos en el rendimiento académico. Por tanto, con los estudios que se han realizado hasta el momento es prácticamente inexistente la evidencia que apoya la idea de que el incremento de los recursos escolares facilita directamente la mejora de los resultados obtenidos por los alumnos de una escuela. 4 of 31 Para valorar los anteriores resultados hay que tener en cuenta además un dato fácilmente olvidado: la práctica totalidad de la investigación sobre eficacia escolar se ha realizado en Estados Unidos, Reino Unido, Países Bajos, Suecia, Australia, Israel... Todos estos países tienen varias cosas en común, por ejemplo sistemas educativos descentralizados, pero fundamentalmente comparten ser países desarrollados, donde el porcentaje del PIB dedicado a la educación es razonablemente alto. Y, centrándonos en el tema de los recursos, las diferencias en la cantidad y calidad de los recursos entre unas escuelas y otras son relativamente bajas. Recientemente han comenzado a aparecer voces que destacan la inadecuación de las teorías de eficacia escolar para los países en vías de desarrollo (p.e. Harber y Davies, 1997; Morley y Rassool, 1999, Scheerens, 2001). En la realidad de esos países se encuentran características tales como las fuertes diferencias culturales, elevadas tasas de natalidad o fuertes tasas de abandono escolar prematuro, y también otras relacionadas con los recursos: escuelas infradotadas, instalaciones educativas inadecuadas o recursos humanos sin la adecuada preparación. Tal y como señalan Levin y Lockheed (1993:3) “schools in developing countries lack even the basic minimum inputs necessary for them to function as schools at all, while schools in developed countries are adequately provisioned”. Estas características son las que alegan los diferentes autores para demostrar que los resultados encontrados en la investigación sobre eficacia escolar, tanto las listas de factores antes descritas como los modelos comprensivos, son inútiles para estos países. Del mismo modo, Levin y Lockheed sugieren tres elementos claves para incorporar a la investigación sobre eficacia escolar: inputs básicos, condiciones facilitadoras y la voluntad de cambio. De todo esto se extrae automáticamente la necesidad de realizar estudios que permitan elaborar modelos de eficacia escolar válidos para el contexto de países en vías de desarrollo. Y, con más urgencia, estudios que analicen con seriedad la relación entre recursos y rendimiento de los alumnos. Harbison y Hanushek, en su ya clásico estudio, “Educational Performance of the Poor: Lesson from Rural Northeast Brazil” señalaron que las diferencias entre entornos escolares tienen importancia. La medida de los recursos en los países en vías de desarrollo tienen un impacto mayor en el rendimiento de los alumnos que las encontradas en los países desarrollados. La calidad de los recursos y la disponibilidad de libros de texto y software es bastante importante en entornos deprivados. Siguiendo este mismo argumento, Fuller (1986) señala como factor clave para la mejora del aprendizaje de los alumnos, la concentración de material escolar por alumno y la gestión social de estos factores. El nivel de recursos materiales muestra ciertos niveles de calidad. Sin embargo, escuelas con escasos recursos varían fuertemente en su eficiencia y en su habilidad para promover el aprendizaje. A su vez, escuelas con abundantes recursos materiales pueden utilizarlos ineficientemente. La hipótesis de trabajo que se quiere validar es que cuando se alcanzan unos mínimos, las diferencias en los recursos materiales asignados a las escuelas no 5 of 31 parecen tener gran importancia en la explicación de las diferencias de rendimiento. Si, por el contrario, no se alcanzan, los recursos tienen una incidencia importante, lo que ocurre en los países en vías de desarrollo. De la primera parte ya se tienen datos; con este estudio se pretende comprobar la veracidad de la segunda. Concretamente, se analizará la relación entre los recursos y el rendimiento de los alumnos teniendo en cuenta el contexto, básicamente generado por la situación de la escuela en un Estado brasileño u otro. En este artículo se adopta una concepción amplia del concepto recurso. De esta forma, se consideran tanto los recursos humanos que forman parte del proceso educativo (número de profesores de que dispone una escuela, su nivel salarial, su experiencia, su formación), como los recursos financieros (el presupuesto escolar), así como los recursos materiales, las instalaciones educativas (edificios, biblioteca, gimnasio) o el tiempo como recurso del proceso de enseñanza y aprendizaje (horas lectivas semanales y anuales). 1.2. Elementos contextuales en la investigación sobre recursos Uno de los elementos fundamentales en la investigación sobre la incidencia de los recursos en el progreso de los alumnos es la consideración del contexto. El hecho de que existan diferencias en la relación de rendimiento de las distintas escuelas está señalando la importancia de muchos elementos contextuales en la modernización de las relaciones input-output que hasta ahora no se han tenido en cuenta. Algunos esfuerzos de investigación han tratado de responder a la cuestión, ¿qué es lo que marca la diferencia en el uso de los recursos? La respuesta a esta pregunta puede ser obtenida mediante dos procedimientos distintos: control experimental y control estadístico. El control experimental es, sin duda, el más deseable, aunque no siempre es posible recurrir a él. Cuando se usa el control estadístico, los resultados de un estudio individual pueden estar altamente sesgados por las condiciones contextuales, particulares de cada investigación. Esto hace que se dirija la atención a los meta-análisis. Esta técnica permite comprobar cómo determinada relación causal se modifica en distintos contextos. En este sentido, algunos estudios con grandes bases de datos tienen unas virtualidades parecidas al meta-análisis. Aunque no se dispone de fuentes de información independientes, se puede comprobar en cierta medida cómo distintos contextos afectan a la relación causal estudiada. Precisamente, la especificación contextual es lo característico de los estudios multinivel, puesto que permiten el estudio diferenciado de la influencia de distintos contextos sobre una determinada relación causal. Pueden aventurarse algunas hipótesis acerca de cómo las características contextuales específicas intervienen en el proceso. En este sentido, es posible que los incentivos y valoraciones sociales del rendimiento educativo puedan diferir de un contexto (Estados brasileños en este caso) a otro. Y esto explicaría la eficacia diferencial de los recursos escolares sobre el rendimiento académico. Si, por ejemplo, las expectativas post-escolares están condicionadas por el posible éxito escolar, se estaría introduciendo un elemento motivador para todos los agentes sociales. Y hay que considerar también que características aparentemente no relacionadas 6 of 31 con el proceso educativo pueden estar afectando al mismo. Así, por ejemplo, la distinta movilidad geográfica de la población de cada Estado hace que las expectativas profesionales tengan un referente amplio, introduciendo un elemento de competencia que puede afectar a la actitud social global hacia la escuela. Sociedades con fuertes demandas respecto a los resultados escolares pueden estar actuando en muchos niveles en la dirección de una mayor exigencia hacia las escuelas. Aunque éstas y otras hipótesis son plausibles, la introducción de variables asociadas a macro-contextos (por ejemplo, características demográficas o económicas de los Estados o regiones) puede producir resultados engañosos. Las diferencias interestatales que se han encontrado en este estudio podrían tratar de explicarse por las diferencias existentes entre los Estados en variables macroeconómicas, o en indicadores educativos que puedan correlacionar con las diferencias en los resultados escolares. Pero la no existencia de una teoría explicativa de la conexión causal invalida el procedimiento. 1.3. Muestra Este estudio es una explotación particular y con una finalidad investigativa del banco de datos obtenido a partir de la evaluación de la educación básica del sistema educativo brasileño correspondiente al año 1995 (SAEB/95), evaluación llevada a cabo por el Ministerio de Educación y Deportes de Brasil (MEC, 1997). La muestra final de la evaluación fue de 3845 escuelas y 90499 alumnos de 4ª y 8ª serie de ensino fundamental y 2ª y 3ª serie de ensino medio, repartidos por los 27 Estados que componen Brasil. Se recogieron datos de la escuela, el profesor y el alumno. Así, además de pruebas de evaluación para medir la competencia de los alumnos en Lengua portuguesa y Matemáticas, se aplicaron cuestionarios a los directivos escolares, los profesores y los alumnos. Para el objetivo de este artículo se consideró suficiente explotar los datos de los alumnos de 8ª serie de ensino fundamental y algunas variables: rendimiento en Matemáticas, cuestiones relacionadas con el estatus socioeconómico y familiar de los alumnos, así como datos de las escuelas, de los profesores, de los alumnos y de los directivos de esas mismas escuelas. De esta forma, la muestra de estudio estaba compuesta por 6471 alumnos de 975 escuelas en los 27 Estados de Brasil. Brasil es un país en el que existe una gran heterogeneidad en cualquiera de los niveles estudiados. La inclusión de los Estados Federados como tercer nivel de agregación permite comprobar cómo esa relación entre los recursos de la escuela y el rendimiento medio, una vez controlados los factores más importantes de nivel individual y escolar, varía de un Estado a otro. En muy pocos países se dan tales condiciones de tamaño y heterogeneidad de los contextos sociales. Los datos procedentes de la evaluación del sistema educativo brasileño ofrecían una buena oportunidad para probar esta hipótesis. La incorporación de tres tipos de contextos distintos o niveles de agregación (alumnos, escuelas y Estados) en el estudio del rendimiento en Matemáticas permite atribuir a las variables de cada uno de los niveles la importancia que les corresponde, así como analizar la interacción entre las variables de los distintos niveles. Este estudio se limita a considerar los distintos Estados Federados de Brasil como unidades sustantivas de diferenciación contextual. 7 of 31 2. Metodología 2.1. Diseño Desde un punto de vista más operativo, podemos considerar que en las investigaciones sobre la eficacia de las organizaciones, las variables de investigación son de tres tipos: Características de los sujetos a su entrada en el sistema, en el caso de la educación, antes de iniciar los estudios de un determinado nivel (por ejemplo, variables genéricas de background, aptitudes, actitudes, conocimientos anteriores, personalidad, etc.). Estas características, que influyen en los resultados de los centros, son externas al sistema educativo que se evalúa. Variables del sistema, cuyos efectos experimentan los sujetos. En el caso de la educación, variables típicas son los recursos instructivos, organización, atmósfera, clima, atributos del profesor, política del centro, sistemas de evaluación, disciplina, etc. Medidas de resultados de los sujetos que componen el sistema, tales como productividad, rendimiento académico, motivación, actitudes, calidad de vida, etc. y que suelen ser las variables dependientes finales, objeto de evaluación. Parece evidente que un modelo de evaluación de las variables del tipo (c) deberá recoger la información de los otros dos tipos, para poder expresar los componentes de la varianza que deben a las variables de los distintos niveles. Básicamente, como señalan Burnstein et al. (1981), el principal interés consistirá en modelizar los resultados intraorganización como funciones sistemáticas tanto de características individuales, como de variaciones entre contextos o entre grupos. La peculiaridad que presentan los datos obtenidos en la mayor parte de las evaluaciones de instituciones, así como en otras investigaciones típicas de las ciencias sociales y del comportamiento, es que los datos obtenidos muestran una estructura de tipo jerárquico o anidado, también denominada multinivel, ya que los sujetos que son las unidades últimas de la evaluación están anidados en las instituciones educativas, los trabajadores en empresas (Kreft y de Leeuw, 1994), las respuestas a las encuestas lo están en los entrevistados (Hox, 1994), las unidades elementales de muestreo en otras de orden superior, como en el muestreo por conglomerados, o los pacientes anidados en los hospitales (Draper et al., 1990). Los modelos multinivel permiten estudiar cómo las variables contextuales afectan a las relaciones entre los factores y los efectos del nivel inferior de agregación. En este sentido, en este estudio se partió de la hipótesis de que si bien la cantidad de recursos disponibles en la escuela podía ser una variable relevante en la explicación de las diferencias en el rendimiento, esa relación entre factor y efecto podría verse moderada por variables de contexto social que afectaran a esa relación, y que podrían, en conjunto, enmascararla. A efectos de este trabajo, los datos de la evaluación se refieren, como ya hemos señalado, a tres niveles distintos. El primero es el nivel de los individuos, el 8 of 31 segundo es el nivel de las escuelas y el tercero es el nivel de los Estados. La existencia de varianza dentro de las escuelas indica que los sujetos se diferencian entre ellos dentro de las escuelas. La existencia de varianza en el segundo nivel indica que las escuelas también difieren en el rendimiento medio de cada una de ellas dentro de los Estados. Y la varianza en el nivel de Estados indica que éstos se diferencian en cuanto al rendimiento académico medio de sus escuelas. El modelo nulo se formula de la siguiente manera: 2.2. Variables En este apartado se van a describir las variables utilizadas en este estudio. La complejidad de la descripción esta ligada a las variables de interacción necesarias para explicar la estructura de variación en los tres niveles definidos. 2.2.1. Variables estudiadas La variable respuesta utilizada fueron las puntuaciones obtenidas en las pruebas de Matemáticas de la 8ª serie de ensino fundamental. Los valores de las variables respuesta fueron estimados mediante procedimientos de Máxima Verosimilitud Marginal de la Teoría de Respuesta al Item con el programa Bimain (Muraki, 1994). Los estimadores de los parámetros de los ítems de las pruebas también fueron calculados con el mismo programa. Las puntuaciones fueron inicialmente estimadas en la escala estandarizada (sobre los datos de la propia muestra) y fueron posteriormente reescaladas a una media de 500 con desviación típica de 100. Análisis estadísticos tradicionales sirvieron para desechar aquellas variables que no presentaban ninguna relación con la variable dependiente. Las variables restantes de primer nivel constituyen el conjunto de variables candidatas. Y son las que se relacionan a continuación: Sexo Raza Estudios del padre Estudios de la madre Personas con las que vive Lectura del periódico Número de horas diarias que ve la televisión Años en que se aparta de la edad modal de su curso Las variables de segundo nivel corresponden tanto a características de los profesores como de las escuelas. Las primeras son: Tiempo de servicio del profesor 9 of 31 Nivel de desarrollo de los contenidos en clase Proporción de tiempo dedicado a docencia en el aula Uso del libro de texto Asignación de tareas para casa En cuanto a las segundas se seleccionaron: Titularidad del centro Nivel de dotación de recursos de la escuela La variable referida al nivel de dotación de recursos de la escuela ha sido construida a partir de otras variables. El cuestionario original incluye un gran número de preguntas relacionadas con el estado de conservación de muchas instalaciones de la escuela. De todas las preguntas se seleccionaron aquellas que tenían que ver con el equipamiento didáctico: biblioteca, laboratorio de ciencias, laboratorio de informática, televisión y videocasete. Cada una de ellas se valoraba como ‘no existente’, ‘estado de conservación pobre’, ‘estado de conservación regular’, ‘buen estado de conservación’. Se codificaron las respuestas de 0 a 3 y posteriormente se sumaron esas respuestas para producir una nueva variable, denominada ‘Recursos’, con valores de 0 a 15, que refleja por tanto la situación de la escuela en una escala hipotética relacionada con la dotación de medios didácticos. No se han utilizado variables referidas a las unidades del tercer nivel (Estados) que, como ya hemos señalado, se entienden como unidades sustantivas de diferenciación contextual. 2.2.2. Codificación de las variables Como puede observarse, tanto en uno como en otro nivel disponemos de variables de naturaleza distinta. Por una parte, hay algunas variables, como la edad, de las que no cabe ninguna duda en cuanto a su consideración como variable continua. Algunas otras variables, aunque la magnitud de origen fuese continua, eran de naturaleza ordinal, por lo que presentaban algunas cuestiones. Por ejemplo, una pregunta hacía referencia al número de horas que el alumno ve al día la televisión. Las posibles respuestas incluían: ‘cero horas’, ‘menos de dos horas’, ‘de dos a cuatro horas’, ‘de cuatro a seis horas’, ‘más de seis horas’. Esa variable fue recodificada para tomar valores de cero a cuatro. Otras variables presentaban una estructura de alternativas de respuesta que las hacía totalmente categóricas y, preanalizadas con el rendimiento, resultó importante mantener todas ellas. Es el caso de la variable ‘Raza’. Por este motivo, la variable fue codificada en cuatro variables dummy, ‘Branco’, ‘Amarelo’, ‘Pardo’ y ‘Preto’. No todas las variables dummy se utilizan de igual modo en las dos partes del modelo, la parte fija y la parte aleatoria. Más adelante se explicará esto con más detalle. En el anexo se ofrece una tabla donde aparecen las variables utilizadas, el nombre asignado, los valores originales y los valores después de la decodificación. 10 of 31 2.2.3. Variables auxiliares de interacción en el primer nivel En el nivel 1, algunas variables explicativas son categóricas. Para ellas se utilizó la codificación de contraste para la parte fija y la codificación separada para la parte aleatoria. En general, en la codificación de contraste, para cada variable categórica se crearon (n-1) variables dummy, siendo n el número de categorías. Si había más de una variable categórica, se crearon además (n1-1)* (n2-1)* (n3-1)… variables de interacción. Un problema añadido es que, al incluir variables categóricas, debemos considerar que la parte aleatoria del modelo aumente en complejidad. Por ejemplo, es posible pensar que las chicas negras tengan una varianza residual distinta que la de los chicos negros y que la de las chicas blancas y los chicos blancos. Entonces debemos incluir en la parte aleatoria del modelo de primer nivel distintas variables residuales asociadas a las distintas combinaciones de valores de variables categóricas. Por eso, en esta parte es conveniente utilizar codificación separada, aunque en la parte fija del modelo hayamos usado codificación de contraste. Un modelo de primer nivel de este tipo quedaría como sigue: Como puede verse, no se incluyen términos de covarianza entre los errores ya que, como la codificación es separada, nadie puede pertenecer a dos categorías de las variables multiplicativas simultáneamente. Todo lo que hemos dicho hasta ahora es válido para las variables ‘Raza’ y ‘Sexo’, construyéndose las variables de interacción necesarias. Algunas de ellas fueron incluidas en la parte fija del modelo y todas ellas en la parte aleatoria del primer nivel del modelo. 2.2.4. Variables auxiliares de interacción entre niveles En los modelos jerárquicos lineales, en los niveles superiores, tenemos las ecuaciones que explican la variación de los coeficientes de las variables explicativas de nivel inferior. Así, por ejemplo, si nuestro modelo de primer nivel fuese: yijk = b0jk + b1jk x1ijk + eijk, podríamos tener dos ecuaciones de nivel 2, que serían b0jk = b00k + b01k z1ijk +m0jk y b1jk = b10k + b11k z1ijk +m1jk. Cuando sustituimos estas ecuaciones en el primer nivel, obtenemos lo siguiente: Como vemos, aparece un coeficiente asociado a una variable de interacción entre niveles, en este caso la variable resultante del producto z1jkx1ijk . Fue necesario por tanto crear algunas variables multiplicando las variables de primer y segundo nivel que correspondan. Éstas aparecerán siempre en la parte fija del modelo (por ejemplo, lectura del periódico y centro privado, per*prt). 2.2.5. Variables auxiliares para la modelización de relaciones no 11 of 31 lineales Durante los estudios preliminares de las variables apareció una de ellas que mantenía una relación peculiar con el rendimiento. Se trata de la variable ‘hourastv’. Se observó que, cuando la respuesta es 2 (de dos a cuatro horas de televisión diarias), el rendimiento en la prueba es máximo. Los valores que se apartan de éste están asociados a valores medios de rendimiento menores. La distribución tampoco es simétrica. Por estas razones se creó la variable hour2 =(hourastv-2)2. En la ecuación se incluyen las dos variables, la lineal y la cuadrática, con el objeto de obtener un mejor ajuste. 2.3. Muestra y estructura de los datos Los datos que se analizan en este trabajo están organizados jerárquicamente en tres niveles. En un primer nivel se encuentran los alumnos de cada uno de los cursos estudiados. De estos alumnos conocemos su rendimiento en la prueba de evaluación de SAEB/95 correspondiente, así como los datos provenientes de sus respuestas a un cuestionario de variables de contexto. Estos alumnos están a su vez agrupados o ‘anidados’ en ‘escuelas’. Las escuelas constituyen las unidades de segundo nivel. En realidad, los alumnos están agrupados en clases, y éstas a su vez están anidadas en escuelas. Sin embargo, en la práctica, de la gran mayoría de las escuelas no tenemos más que los datos correspondientes a una sola aula. Ciertamente hay algunos casos en los que hay más de un aula por escuela, pero esos datos no son suficientes para determinar otro nivel de análisis. Por este motivo se ha adoptado como unidad de segundo nivel las ‘pseudo-escuelas’. Cada aula, representada por un código de profesor distinto, se ha asociado a una pseudo-escuela. En aquellos casos en los que disponemos de dos aulas, y por consiguiente de dos o más códigos de profesor distintos, se han considerado como aulas pertenecientes a distintas escuelas. En este segundo nivel se dispone, por tanto, de datos que corresponden a la escuela y de datos que corresponden al profesor. Cuando dos grupos pertenecen a una misma escuela, compartirán todos aquellos valores de las variables que se refieren a la escuela, y diferirán en los que se refieren a los profesores. Las unidades de nivel dos, las escuelas o pseudo-escuelas, están a su vez anidadas en distintos Estados. Por tanto, los Estados constituyen las unidades de tercer nivel. Los requisitos de tratamiento de los datos ausentes o “missing” del programa utilizado, el ML3e de Goldstein et al. (1993), obligaron a eliminar los sujetos con datos perdidos. Una vez eliminados todos los casos que presentaban datos perdidos en alguna de las variables de análisis, la estructura de los datos quedó como aparece en la tabla 1. Como puede observarse, hay un total de 27 unidades de tercer nivel (Estados), 975 unidades de segundo nivel (pseudo-escuelas) y 6471 unidades de primer nivel. Tabla 1. Estructura de los datos 12 of 31 ML3 - Software for three-level analysis. 27 level 3 units 975 level 2 units 6471 level 1 units ID3: 11 12 13 14 15 16 17 21 22 23 N2 : 25 30 32 20 33 25 19 23 24 62 N1 : 158 156 198 67 229 101 102 204 127 448 ID3: 24 25 26 27 28 29 31 32 33 35 N2 : 26 28 52 19 26 50 51 24 57 75 N1 : 148 165 368 134 119 338 432 164 445 596 ID3: 41 42 43 50 51 52 53 N2 : 66 29 57 39 17 35 31 N1 : 460 202 390 211 69 214 226 3. Proceso De Modelización Y Resultados 3.1. Modelo Nulo o de línea base Como primer paso, se procedió a estimar el modelo nulo o modelo de línea base. Este modelo consiste en sólo cuatro parámetros. Se trata del intercepto y las varianzas de los residuos en los tres niveles. En la tabla 2 se puede observar que los sujetos dentro de las escuelas difieren entre sí en rendimiento (estimación de la varianza en el primer nivel, 5871). También se ve que las escuelas dentro de los Estados difieren entre sí en la media de rendimiento (varianza de las medias 3129, mucho mayor que 196.9) y que los Estados también difieren entre sí en las medias de rendimiento. El objetivo del trabajo ahora es tratar de explicar la mayor varianza posible en los niveles 1 y 2. Tabla 2. Modelo nulo Parte Fija Parameter Estimate S. Error 496.6 5.888 Parte Aleatoria Level 3 Parameter Estimate S. Error 13 of 31 Constant/Constant 794.2 255.2 Level 2 Parameter Estimate S. Error Constant/Constant 3129 196.9 Level 1 Parameter Estimate S. Error Constant/Constant 5871 111.5 3.2. Modelo con variables explicativas en el nivel 1 El resultado de la modelización con los parámetros correspondientes al modelo con variables explicativas de primer nivel, antes de permitir que los coeficientes de estas variables varíen en el nivel 2, se ofrece en la tabla 3. Parece adecuado explicar en este punto el significado de cada uno de los parámetros fijos incluidos en el modelo hasta el momento. Dada la codificación que hemos realizado de las variables, la constante o intercepto indica el valor de la media de rendimiento de las chicas de raza negra, cuyos padres no tienen estudios, en cuya casa no se compra el periódico, con una edad igual que la edad modal del curso de octavo y que ven la televisión entre dos y cuatro horas diarias. Esa media es de 485.8 puntos. Cada uno de los demás parámetros significa lo siguiente: si se tratase de una chica de iguales características que las anteriores, pero de raza blanca, su rendimiento medio se incrementa en 15.64 puntos. Si fuese de raza amarilla, su media subiría 25.25 puntos, mientras que si fuese parda aumentaría 11.84 puntos. Si se tratase de un chico, la media de su grupo sería 32.81 puntos por encima. Por cada cuatro años de estudio del padre, la media sube 10.72 puntos. Con cada nivel de frecuencia de adquisición del periódico, la media sube 7.845. Sin embargo, si su edad es mayor que la edad modal del curso su media descendería –15.73 puntos por cada año. Del mismo modo, por cada dos horas que se apartase de entre dos y cuatro horas de televisión al día, tanto por encima como por debajo, su media disminuiría en 2.82(x-2)2. Las interacciones entre las variables dummies no resultaron estadísticamente significativas en la parte fija del modelo. En la parte aleatoria, podemos ver cómo disminuye sustancialmente la varianza en los niveles 3 y 2. En el nivel 1, la estructura de la varianza tiene en cuenta las diferencias en las varianzas de los residuos de los distintos grupos formados por la combinación de las variables ‘Raza’ y ‘Sexo’. Aquí es preciso aclarar que, en contra de lo que pueda parecer a primera vista, no hay más varianza en este primer nivel. La varianza total del primer nivel es 14 of 31 Como las variables de codificación son dicotómicas, esta suma equivale de hecho a la suma ponderada de las varianzas por el número de sujetos de cada grupo. Dado que cada una de ellas no es muy distinta de la varianza calculada de forma común, su suma ponderada tampoco podrá ser muy distinta del valor mencionado. Tabla 3. Modelo con variables explicativas en el primer nivel Parte Fija Parameter Estimate S. Error Constant 485.80 6.057 Branco 15.64 3.570 Amarelo 25.25 5.206 Pardo 11.84 3.522 Sexo 32.81 1.861 Est. Padre 10.72 0.972 Periodic. 7.84 1.457 Edad -15.75 0.747 Hour2 -2.82 0.642 Parte Aleatoria Level 3 Parameter Estimate S. Error Constant/Constant 451.7 143.3 Level 2 Parameter Estimate S. Error Constant/Constant 1541 109.5 Level 1 Parameter Estimate S. Error Sexo*Bra/ Sexo*Bra 6128 236.9 Sexo*Ama/ Sexo*Ama 5727 799.5 Sexo*Par/ Sexo*Par 5880 254.7 Sexo*Pre/ Sexo*Pre 6158 570.0 Muj*Bra/ Muj*Bra 5200 183.4 Muj*Ama/ Muj*Ama 4990 518.4 Muj*Par/ Muj*Par 4571 180.0 15 of 31 Muj*Pre/ Muj*Pre 4234 399.3 3.3. Modelo con variables de nivel 1 variando en el nivel 2 Cuando incluimos en el nivel 2 de la parte aleatoria los parámetros que resultan significativos, vemos que la parte fija no experimenta cambios sustantivos, aunque en la estructura de covarianza sí aparecen pequeñas variaciones. Por ejemplo, vemos en la tabla 4 que la varianza asociada a la constante en el nivel 2 aumenta, mientras que disminuye en el nivel 3. Esto significa que las medias de las escuelas intraestado se diferencian más entre sí y que las medias interestados se diferencian menos. Tabla 4. Modelo con variables explicativas del primer nivel variando en el segundo Parte Fija Parameter Estimate S. Error Constant 485.90 6.058 Branco 15.64 3.570 Amarelo 25.23 5.212 Pardo 11.85 3.520 Sexo 32.69 1.906 Est. Padre 10.72 0.972 Periodic. 7.86 1.457 Edad -15.74 0.746 Hour2 -2.81 0.642 Parte Aleatoria Level 3 Parameter Estimate S. Error Constant/Constant 359.5 113.1 Level 2 Parameter Estimate S. Error Constant/Constant 1715.0 259.30 Est.Pad/Est.Pad 124.1 27.28 Periodic/Periodic 193.4 63.53 Edad/Constant -232.1 74.17 Edad/Est.Pad -39.72 15.85 16 of 31 Edad/Edad 44.33 21.93 Level 1 Parameter Estimate S. Error Sexo*Bra/ Sexo*Bra 6085 240.4 Sexo*Ama/ Sexo*Ama 5613 795.7 Sexo*Par/ Sexo*Par 5844 256.9 Sexo*Pre/ Sexo*Pre 5868 546.2 Muj*Bra/ Muj*Bra 4960 180.5 Muj*Ama/ Muj*Ama 4888 513.8 Muj*Par/ Muj*Par 4376 177.8 Muj*Pre/ Muj*Pre 4181 395.6 3.4. Modelo Definitivo En la tabla 5 aparecen las estimaciones de los efectos incluidos en el modelo con variables de nivel 2 variando en el 3. Éste es el modelo definitivo. La comparación de la razón de verosimilitud entre el modelo nulo con un total de cuatro parámetros (-2log(ln) =75943.9) y este modelo definitivo con 26 parámetros (-2log(ln) =74579.6), nos permite afirmar que este último modelo se ajusta mejor a la estructura de los datos y también al referente teórico definido en el primer apartado. La constante, 408.9, es la línea base y representa la media en Matemáticas de las niñas negras cuyos padres no tienen estudios, en cuya casa no se compra el periódico, con una edad igual a la edad modal del curso, que ven la televisión entre dos y cuatro horas al día, cuyo profesor desarrolla menos de la mitad de los contenidos, que no utiliza libro de texto, que asisten a escuelas en las que la media de estudios de los padres es cero, sin recursos didácticos en la escuela, y con profesor cuyo tiempo de servicio previo es cero. Tabla 5. Modelo con variables explicativas de segundo nivel variando en el tercero. Modelo definitivo Parte Fija Parameter Estimate S. Error Constant 408.90 7.051 Branco 14.19 3.679 Amarelo 21.44 5.421 Pardo 12.32 3.633 Sexo 32.88 1.941 17 of 31 Edad -13.05 0.769 Hour2 -2.63 0.668 Estpai 4.58 1.131 Desacont 11.38 2.326 Livrodid 12.80 2.835 Tiemserv 0.57 0.154 Partic 12.76 5.607 Recursos 1.52 0.595 Per*Prt 9.58 2.879 Estpaies 19.47 2.474 Parte Aleatoria Level 3 Parameter Estimate S. Error Recursos /Recursos 4.622 1.55 Level 2 Parameter Estimate S. Error Constant /Constant 502 86.4 Estpai /Estpai 49.36 15.07 Level 1 Parameter Estimate S. Error Sexo*Bra /Sexo*Bra 6220 250.8 Sexo*Ama /Sexo*Ama 5683 805.0 Sexo*Par /Sexo*Par 5723 260.0 Sexo*Pre /Sexo*Pre 5952 564.7 Muj*Bra /Muj*Bra 5189 190.1 Muj*Ama /Muj*Ama 5273 559.2 Muj*Par /Muj*Par 4614 189.2 Muj*Pre /Muj*Pre 4335 417.9 Los coeficientes fijos asociados a variables de nivel individual nos permiten ver cómo estas características afectan al rendimiento. Por ejemplo, con respecto a la raza vemos que la media más alta corresponde al grupo ‘Amarelo’ (21.44 sobre la constante) seguido de ‘Branco’ (14.19) y ‘Pardo’ (12.32). Los chicos tienen una media de 32.88 puntos superior a la de las chicas en igualdad de otras 18 of 31 características. Es importante destacar que las variables dummy referidas a la raza no representan en sí mismas un supuesto efecto causal debido a características ‘genéticas’. Son variables que, junto con otras de las incluidas en el modelo, recogen distintos tipos de informaciones muy relacionadas con variables de tipo socioeconómico. Si siempre es importante subrayar que no cabe afirmar relaciones causales en estudios no experimentales, en el caso de las variables relacionadas con la etnia es primordial evitar interpretaciones erróneas. En resumen, la interpretación más adecuada sería que los coeficientes asociados a los distintos grupos étnicos reflejan las diferencias en rendimiento en Matemáticas entre esos grupos que no han sido explicadas por las variables incluidas en el modelo. Un aumento de un punto en la escala de lectura del periódico en el hogar familiar supone 9.57 puntos de mejora de la media de rendimiento para los alumnos de escuelas privadas (per*prt), y nada para los alumnos de escuelas públicas, mientras que cada año de edad por encima de la edad modal del curso supone una disminución de 13.05 puntos en el rendimiento esperado. También se espera una disminución del rendimiento (-2.63) por cada grado que se aparte de la escala de frecuencia de televisión diaria del grupo de referencia (2 a 4 horas diarias). Los estudios del padre tienen un coeficiente de 4.58. Recuérdese que se trata de una variable con un valor máximo de 4, por lo que los estudiantes con padres en el máximo nivel de estudios tienen un rendimiento esperado de 18 puntos por encima de aquellos cuyos padres no tienen ningún estudio. En cuanto a las características de las unidades de nivel 2 (las escuelas), vemos que han resultado significativos los efectos atribuibles a las variables ‘desacont’, ‘livrodid’, ‘tiemserv’, ‘partic’, ‘recursos’, ‘estpaies’. Aunque estas variables pertenecen al nivel 2, por las razones anteriormente explicadas podemos diferenciarlas en variables atribuibles a los profesores y variables atribuibles a la escuela. Al primer grupo pertenecen ‘desacont’ (Grado en que el profesor desarrolla los contenidos de la materia), ‘livrodid’ (Si el profesor utiliza o no libro de texto) y ‘tiemserv’ (Tiempo de servicio del profesor en años). Al segundo grupo pertenecen, ‘partic’ (Si el centro es privado o no), ‘recursos’ (Nivel de recursos materiales del centro en una escala de 0 a 15), y ‘estpaies’ (Nivel medio de estudios del padre entre los alumnos de esa escuela). Esta última variable es una simple agregación en el nivel 2 de la variable ‘estpai’. Es un indicador del nivel sociocultural medio de los alumnos del centro. Estas variables están muy relacionadas entre sí. Por ejemplo, el coeficiente asociado a la variable ‘partic’ es 12.76. Esto debe interpretarse como la diferencia entre escuelas públicas y privadas que no ha sido posible explicar por otras diferencias de funcionamiento, como por ejemplo el desarrollo de contenidos. En este sentido, vemos que aquellos docentes que utilizan libro de texto pueden esperar una media de 12.8 puntos más que aquellos que no lo utilizan. Pero, analizando en qué grado las escuelas públicas y privadas utilizan libro de texto vemos que, en una escala de 0 a 1, la media de las escuelas públicas es de 0.43. Del mismo modo, la variable ‘desacont’ tiene un coeficiente de 11.38 para una escala que va de 0 a 3. La diferencia, por tanto, entre las escuelas que desarrollan todo el contenido y aquellas que desarrollan menos de la mitad es de 34.14 puntos de media. Pues bien, la media de desarrollo de los contenidos en las escuelas 19 of 31 privadas es de 2.49, es decir, entre el 80% y el 100% del contenido, y en las escuelas públicas es 1.88, o lo que es lo mismo, más del 50% y no muy lejos del 80% del contenido. En función de estos datos, podemos decir que hay 4.736 puntos en la diferencia bruta entre escuelas públicas y privadas que están asociados al distinto uso del libro de texto. De la misma forma hay 6.94 puntos que están asociados al distinto grado de desarrollo de los contenidos (el coeficiente global de ‘livrodid’ es de 12.8, mientras que su media en centros públicos es de 0.43 y en centros privados de 0.80. Los puntos en la media de centros públicos asociados al uso de libro de texto son 0.43*12.8=5.504. En centros privados son (12.8*0.80)-5.504=4.736. Lo mismo se aplica para el desarrollo de los contenidos). Algo similar puede decirse de la variable ‘estpaies’. La media de escuelas privadas es 3.11 y la de escuelas públicas 1.62. También hay una parte de la diferencia bruta entre los centros públicos y privados que está asociada a la distinta distribución del nivel sociocultural de sus alumnos. En este caso, esa parte asciende a 29.01 puntos. Por su parte, la variable ‘recursos’ tiene asociado un coeficiente de 1.517 por cada grado en una escala que va de 0 a 15. Y también las escuelas públicas y privadas se diferencian en sus recursos físicos. Las públicas tienen una media de 6.60, mientras que en las privadas la media es de 11.78. Por tanto, de la diferencia bruta hay 7.866 puntos asociados a diferencias en la distribución de recursos entre uno y otro tipo de centros. En definitiva, podemos decir que las diferencias entre escuelas públicas y privadas que refleja la variable ‘partic’ son las que no han podido ser explicadas por las diferencias en nivel sociocultural medio de la escuela, por las diferencias de funcionamiento del aula, el tiempo medio de servicio de los profesores o en los recursos disponibles en la escuela. Los parámetros aleatorios que aparecen en la tabla 5 pertenecen a tres niveles distintos. Las varianzas de nivel 1 en esa estructura nos indican simplemente la varianza entre sujetos dentro de las escuelas. Como vemos, las distintas combinaciones de etnia y sexo tienen distintas varianzas, como ya hemos ido señalando. En el nivel 2 vemos que las medias de las escuelas se diferencian significativamente y que también la influencia de la variable ‘estpai’ sobre el rendimiento de los alumnos varía significativamente entre las escuelas dentro de los Estados. De todo este análisis, el parámetro más importante respecto al objeto de este estudio es la varianza en el nivel 3 de la variable ‘recursos’. Es muy importante resaltar que la varianza asociada a la constante no era significativa en este nivel. Esto quiere decir que las diferencias brutas entre los Estados quedan completamente explicadas cuando tenemos en cuenta que las pendientes de la variable ‘recursos’ varían significativamente de un Estado a otro. Es decir, en cada Estado, la influencia de los recursos de la escuela sobre la media de las mismas es significativamente distinta. Es muy interesante observar que según este modelo, los Estados, una vez incluidas en el modelo todas las variables disponibles de nivel 1 y 2, no difieren en 20 of 31 la media en rendimiento, sino en la forma en que los recursos de las escuelas afectan al rendimiento medio de sus alumnos. Según esto, los Estados que tienen distintas medias de rendimiento se diferencian fundamentalmente en que, en unos, las escuelas con más recursos tienen realmente más rendimiento, mientras que en otros, las escuelas con más recursos no llegan a alcanzar el nivel de rendimiento medio del primer Estado. Parecería como si en algunos Estados existiera alguna característica que hace que la aplicación de los recursos en las escuelas sea más eficiente. Naturalmente, puede ser una característica del contexto del Estado. De hecho, esto no indica que en los Estados con medias más altas son las escuelas con mas recursos las que se diferencian más de sus homólogas en los demás Estados. No se trata, por tanto, de una diferencia generalizada entre las medias de las escuelas de unas y otras unidades de tercer nivel, sino que al aumentar el nivel de recursos de las escuelas aumenta la diferencia entre las escuelas de unos y otros Estados. 4. Conclusiones y Discusión Los recursos sí importan. En este artículo se ha aportado una fuerte evidencia empírica de que existe una importante influencia de los recursos escolares en el rendimiento académico de los alumnos en Matemáticas. El Ministerio de Educación y Deportes de Brasil realizó en 1995 una evaluación de la enseñanza básica de su sistema educativo. En ella, además de recogerse datos sobre el rendimiento académico de los alumnos, se obtuvieron diversas informaciones sobre los alumnos, sus profesores y escuelas. Dada la calidad de la muestra y la información obtenida, ha sido posible hacer una explotación particular sobre la incidencia de los recursos en el desarrollo de los alumnos. Para ello se ha realizado un estudio multinivel y, tras el largo proceso de modelización, se ha obtenido el modelo final cuyos parámetros se ofrecen en la tabla 5. Como era previsible, los resultados muestran que tanto variables del individuo como de los profesores y la escuela inciden en el rendimiento académico. Incluso se observa que los Estados modulan la incidencia de alguna variable. La inclusión de tantas variables se justifica para poder delimitar con mayor precisión la varianza debida a las variables de interés. Centrándonos en los recursos, la primera idea es que, frente a lo encontrado en otros estudios realizados en países desarrollados (Hanushek, 1997), los recursos con que cuenta la escuela inciden de manera significativa en los resultados de los alumnos. En este trabajo se han considerado como recursos escolares la existencia y calidad de biblioteca, laboratorio de ciencias, laboratorio de informática, televisión y aparato de vídeo. Pero también se han encontrado otros datos de extremo interés. Así, por ejemplo, hay que señalar la radical importancia que tiene para el rendimiento el hecho de que el docente desarrolle los contenidos. El resultado parece evidente: cuanto mayor es el porcentaje de contenido tratado por el profesor, mejor es el rendimiento del alumnado de esa aula. No contamos con información acerca de por qué no se desarrolla la totalidad de los contenidos pero, en cualquier caso, parece existir una íntima relación con el tiempo de aprendizaje tan destacado por J. Carroll (1963) y recordado por Creemers (1994). 21 of 31 Un tercer factor es la utilización del libro de texto por parte del profesor para la exposición de los contenidos. El uso de un material estructurado favorece claramente el aprendizaje por parte de los alumnos. Carecemos de datos que justifiquen la no utilización de libros de texto, pero no parece descabellado achacarlo a la falta de presupuesto familiar para su compra. En el apartado anterior se destacó que el Estado jugaba un importante papel en el rendimiento del alumno en relación con los recursos escolares. En este apartado final tenemos que insistir en la gran importancia del hecho de que sólo al incluir la variable recursos en el tercer nivel, la composición de la varianza entre las medias de los Estados cambia totalmente de naturaleza. No es que no haya diferencia entre las medias de los Estados. Es que la diferencia está asociada a la forma en que los recursos afectan al rendimiento medio de las escuelas en cada Estado. De la importancia práctica de este hecho puede dar idea el siguiente ejemplo. Supongamos que uno de los Estados con valores bajos de rendimiento medio decide hacer un esfuerzo de inversión para dotar a las escuelas de mayores recursos. Ciertamente, se podría conseguir un aumento en el rendimiento medio de esas escuelas. Pero este aumento sería siempre inferior al conseguido si la misma inversión se hubiera realizado en un Estado con media más alta en sus escuelas. Tabla 6. Incremento diferencial de la pendiente de la variable ‘Recursos’ para cada uno de los Estados Estados U1k 1 -2.7231 2 -4.3296 3 -0.2843 4 0.3667 5 -1.1544 6 -1.3182 7 -2.8288 8 -2.2946 9 0.4625 10 -1.0295 11 -0.7287 12 -1.0088 13 -1.2780 14 -2.0977 15 0.5282 16 1.3888 22 of 31 17 4.5173 18 1.5960 19 1.8442 20 2.1269 21 1.3227 22 1.2659 23 0.8549 24 0.7434 25 -0.9904 26 1.7232 27 3.3255 En la tabla 6, ‘U1k’ muestra el diferencial de pendiente de regresión de rendimiento medio de las escuelas sobre ‘recursos’ para cada Estado. Por ejemplo, en el Estado 25, el coeficiente de regresión que pone en relación el nivel de recursos con el rendimiento medio es un punto menor que el valor medio. Sin embargo, en el Estado 17, ese valor es 4.517 puntos superior a la media. Obsérvese algo importante. No se trata de que unos Estados tengan escuelas con más recursos que otros. Se trata de que, en unos Estados, los recursos de las escuelas influyen más que en otros en el rendimiento. Son, en esencia, más eficientes. Por supuesto, como ya se ha explicado, esa mayor eficiencia en el uso de los recursos puede deberse a variables de contexto sociocultural y socioeconómico de los Estados, de los que en este estudio no tenemos referencias. Pero también han resultado relevantes en el modelo variables de carácter personal: el sexo, la raza, las horas que pasa el alumno viendo la televisión al día y el nivel de estudios del padre. Con relación a la variable “raza” es necesario señalar algunas cuestiones. En primer lugar hay que indicar que los datos se obtuvieron de la respuesta directa de cada alumno sobre cómo se considera: branco, pardo, preto o amarelo. Como bien se sabe, es necesario incluir en el modelo todas aquellas variables que expliquen la varianza en rendimiento. Y la variable raza es una buena aproximacion indirecta al nivel socio-cultural en Brasil. Con ello se consigue determinar, de la manera más exacta posible, la incidencia de otras variables de interés. Los resultados indican que los alumnos que se consideran “pretos” obtienen peores resultados, seguidos de los “pardos”, “brancos” y “amarelos”. Interesantes resultados se han encontrado respecto a la variable que mide el número de horas que el alumno ve la televisión el día. Los datos indican que el máximo rendimiento se da en aquellos alumnos que pasan de dos a cuatro horas al día viendo la televisión. Si dedican más o menos horas, su rendimiento baja. El presente estudio posee las ventajas y las limitaciones de una evaluación institucional a gran escala. Entre las primeras destaca el tamaño de la muestra y la 23 of 31 calidad de su selección, así como las garantías de calidad en la recogida de datos y el importante número de variables de alumno, profesor y escuela. Entre las desventajas, las dificultades para incorporar al diseño variables de interés exclusivamente. Un diseño ad hoc probablemente hubiera sido más útil para el objetivo de este trabajo, pero su elevado coste lo habría hecho inviable en la práctica. La investigación sobre eficacia se ha centrado casi exclusivamente en un contexto de países anglosajones, y por tanto no todas sus conclusiones son aplicables a contextos diferentemente dotados, como es el caso de los países en vías de desarrollo. Parece clara, por tanto, la necesidad de incorporar el contexto a la investigación sobre eficacia escolar para ofrecer una imagen completa y no sesgada de los factores que mejoran las escuelas. 5. Bibliografía American Association of School Administrators (1992). An effective school primer. Arlington: AASA Publications. Bamburg, J.D. y Andrews, R. (1991). School goals, principals, and achievement. School Effectiveness and School Improvement, 2(3), 175-191. Burstein, L., Linn, R.L. y Capell, F.J. (1978). Analyzing multilevel data in the presence of heterogeneous within-class regressions. Journal of Educational Statistics, 3, 347-383. Coleman, J.S. et al. (1966). Equality of educational opportunity. Washington: US Government Printing Office. Creemers, B. (1994). The effective classroom. London: Cassell. Creemers, B. (1996). The school effectiveness knowledge base. In D. Reynolds et al., Making good schools. Linking school effectiveness and school improvement (pp. 36-58). London: Routledge. Farrell, J.P. (1999). Changing conceptions of equality of education: forty years of comparative evidence. In R.F. Arnove y C.A. Torres (Eds.), Comparative Education. The dialectic of the global and the local (pp. 149-178). Lanham, MA: Roman & Littlefield Publishers, Inc. Fuller, B. (1986). Raising school quality in developing countries: what investments boost learning? World Bank Discussion Papers Series. Washington, DC: The World Bank. Hanushek, E.A. (1997). Assessing the effects of school resources on student performance: an update. Educational Evaluation and Policy Analysis, 19(2), 141-164. Harbison, R.W. and Hanushek, E.A. (1992). Educational performance for the poor: lessons from rural Northeast Brazil. Oxford University Press. Published for the World Bank. Harber, C. y Davies, L. (1997). School Management and Effectiveness in Developing Countries: The Post-Bureaucratic School. London: Cassell. Hox, J.J. (1994). Hierarchical regression models for interviewer and respondent effects. Sociological Methods and Research, 22(3), 300-318. Kreft, I.G.G. y De Leeuw, J. (1994). The gender gap in earnings: a two way nested multiple regression analysis with random effects. Sociological Methods and Research, 22(3), 319-342. Levin, H. and Lockheed, M. (1993). Effective schools in developing countries. London: Falmer Press. Levine, D.U. y Lezotte, L.W. (1990). Unusually effective schools: a review and analysis of research and practice. Madison: National Center for Effective School Research and Development. Lockheed, M. (1993). The condition of primary education in developing countries. In H. Levin y M. 24 of 31 Lockheed (Eds.), Effective Schools in Developing Countries (pp. 20-40). London: Falmer Press. Lockheed, M. y Verspoor, A. (1991). Improving Primary Education in Developing Countries. Oxford: World Bank, Oxford University Press. MEC (1997). Resultados do SAEB/95. Relatório Final. Brasilia: Ministério da Educaçao e do Desporto (Results of the SAEB/95. Final List. Brazil: Ministry of Education and Sports) Morley, L. y Rassool, N. (1999). School effectiveness. Fracturing the discourse. London: Falmer Press. Mortimore, P. (1993). School effectiveness and the management of effective learning and teaching. School Effectiveness and School Improvement, 4(4), 290-310. Mortimore, P. et al. (1988). School matters. Somerset: Open Books. Reynolds, D. (1985). Studying School Effectiveness. London: Falmer Press. Reynolds, D., Creemers, B.P.M., Nesselrodt, P.S., Schaffer, E., Stringfield, S. y Teddlie, C. (Eds.) (1994). Advances in School Effectiveness Research and Practice. Oxford: Pergamon Press. Rutter, M. et al. (1979). Fifteen thousand hours. London: Open Books. Sammons, P., Hillman, J. y Mortimore, P. (1995). Key characteristics of effective schools: a review of school effectiveness research. London: OFSTED. Scheerens, J. (1990). School effectiveness research and the development of process indicators of school functioning. School Effectiveness and School Improvement, 1(1), 61-80. Scheerens, J. (1992). Effective schooling: research, theory and practice. London: Cassell. Scheerens, J. (2001). Monitoring school effectiveness in developing countries. School Effectiveness and School Improvement, 12(4), 359-384. Teddlie, C. y Stringfield, S. (1993). Schools make a difference: lessons learned from a ten-year study of school effects. New York: Teachers College Press. Townsend, T. (1997). What makes schools effective? A comparison between school communities in Australia and the USA. School Effectiveness and School Improvement, 8(3), 311-326. Acerba de los Autores José Luis Gaviria Universidad Complutense de Madrid (Spain) Avda. Rector Royo Vilanova s/n 28040 Madrid (Spain) e-mail: josecho@edu.ucm.es Teléfono: +34 91 394 61 40 Rosario Martínez-Arias Universidad Complutense de Madrid (Spain) Facultad de Psicología. Campus de Somosaguas 28040 Madrid (Spain) e-mail: María Castro Universidad de Murcia (Spain) Facultad de Educación. Campus Universitario de Espinardo. Espinardo. 30100 Murcia (Spain) e-mail: mcastro@um.es Phone number: +34 968 36 40 54 25 of 31 Anexo. Descripción de las variables utilizadas Variable Nombre Valores Originales Recodificación Sexo 1=Masculino 2=Femenino Sexo 0=Femenino 1=Masculino Mujer 0=Masculino 1=Femenino Raza Você Se Considera: 1=Branco 2=Pardo 3=Preto 4=Amarelo Branco 0=Otros 1=Branco Amarelo 0=Otros 1=Amarelo Pardo 0=Otros 1=Pardo Preto 0=Otros 1=Preto Estudios Del Padre Estpai 1=Nunca Freqüentou A Esco 2=Primario 3=Ginasio 4=Colegial 5=Superior 0=Nunca Freqüentou A Esco 1=Primario 2=Ginasio 3=Colegial 4=Superior Estudios De La Madre Estmae 1=Nunca Freqüentou A Esco 2=Primario 3=Ginasio 4=Colegial 5=Superior 0=Nunca Freqüentou A Esco 1=Primario 2=Ginasio 3=Colegial 4=Superior Estructura Familia Nuclear Vivecon 1=Com Pai E Mae 2=Somente Con Mae 3=Com Pai Ou Mae En Nova 0=Outra Situaçao 1=Com Pai E Mae 26 of 31 4=Sozinho 5=Outra Actividad Remunerada (Realiza El Alumno Alguna…) Actirem 1=Nao 2=Sim, Oito Horas Por Día 3=Sim, De Cuatro A Oito 4=Sim, Menos De Cuatro 5=Sim, Apenas Os Fines De 1=Nao 0=Outras Frecuencia De Compra/ Lectura Del Periódico Periodic 1=Nao 2=Sim, Todos Os Dias 3=Sim, Aos Sábados E Dom 4=Sim, Apenas Os Doming 5=Sim, Apenas Os Finais De 0=Nao 2=Sim, Todos Os Dias 1=Sim, Aos Sábados E Dom 1=Sim, Apenas Os Doming 1=Sim, Apenas Os Finais De Horas De TV Hourastv 1=Nenhuma 2=Até Duas Horas 3=De Duas A Quatro Horas 4=De Quatro As Seis Horas 5=Mais De Seis Horas -2=Nenhuma -1=Até Duas Horas 0=De Duas A Quatro Horas 1=De Quatro As Seis Horas 2=Mais De Seis Horas Hour2 =(HOURASTV-2)**2 Edad Edad Continua Continua Conversa Sobre A Escola Conversa 1=Nao Converso 2=Sim, Quase Todos Os Dias 0=Nao Converso 1=Sim, Quase Todos Os Dias 1=Sim, Uma Vez Por Seman 0=Sim, Com As Notas 0=Sim, Ao Final Do Ano 27 of 31 3=Sim, Uma Vez Por Seman 4=Sim, Com As Notas 5=Sim, Ao Final Do Ano Deixou De Freqüentar A Esc Deixou 1=Nao 2=Sim, Por 1 Ano 3=Sim, Por 2 Anos 4=Sim, Por 3 Anos 5=Sim, Por 4 Anos 0=Nao 1=Sim, Por 1 Ano 2=Sim, Por 2 Anos 3=Sim, Por 3 Anos 4=Sim, Por 4 Anos Quantos Dias Você Fal Falta 1=Nao Faltei 2=Faltei Uns 5 Dias 3=Faltei Uns 15 Dias 4=Faltei Uns 30 Dias 5=Faltei Mais De 30 Dias 0=Nao Faltei 1=Faltei Uns 5 Dias 2=Faltei Uns 15 Dias 3=Faltei Uns 30 Dias 4=Faltei Mais De 30 Dias Tiempo De Servicio Del Maestro Tiemserv Continua Desarrollo De Contenidos De La Materia En La Clase Desconta 1=Todo O Conteúdo 2=Quase Tudo (Cer. 80%) 3=Aprox. A Metade 4=Menos Da Metade 3=Todo O Conteúdo 2=Quase Tudo (Cer. 80%) 1=Aprox. A Metade 0=Menos Da Metade Proporción De Tiempo Dedicada Al Aula Tiemaula 1=Mais De 90% 2=Cerca De 80% 3=Cerca De 60% 4=Menos 3=Mais De 90% 2=Cerca De 80% 1=Cerca De 60% 0=Menos De 50% 28 of 31 De 50% Uso De Libro De Texto Livrodid 1=Sim 2=Nao 1=Sim 0=Nao Asignación De Tareas Para Casa Licaocas 1=Sempre 2=Às Vezes 3=Nunca 2=Sempre 1=Às Vezes 0=Nunca Titularidad De La Escuela 1=Federal 2=Estadual 3=Municipal 4=Particular Estadual 0=Outras 1=Estadual Particular 0=Otras 1=Particular Nivel De Recursos De La Escuela Recursos =(Biblio+Labcien+Labinf+Telev+Video) Biblioteca Biblio 1=Bom 2=Regular 3=Ruim 4=Nao Existe 3=Bom 2=Regular 1=Ruim 0=Nao Existe Laboratorio De Ciencias Labcin 1=Bom 2=Regular 3=Ruim 4=Nao Existe 3=Bom 2=Regular 1=Ruim 0=Nao Existe Laboratorio De Informática Labinf 1=Bom 2=Regular 3=Ruim 4=Nao Existe 3=Bom 2=Regular 1=Ruim 0=Nao Existe Televisao Telev 1=Bom 2=Regular 3=Ruim 4=Nao Existe 3=Bom 2=Regular 1=Ruim 0=Nao Existe Video-Cassette Video 1=Bom 2=Regular 3=Ruim 4=Nao Existe 3=Bom 2=Regular 1=Ruim 0=Nao Existe Note 29 of 31 1. El presente trabajo ha sido realizado por encargo del INEP del Ministerio de Educación y Deportes de Brasil. Copyright 2004 by the Education Policy Analysis Archives La dirección de Archivos Analíticos de Políticas Educativas en la World Wide Web es http://epaa.asu.edu. Preguntas generales acerca de la pertinencia temática o sobre artículos específicos pueden ser enviadas al Editor, Gene V Glass, glass@asu.edu. Por carta a: Gene V. Glass College Education, Arizona State University, Tempe, AZ 85287-0211. (602-965-2692). Editores Asociados para Español y Portugués Gustavo Fischman Arizona State University Pablo Gentili Laboratorio de Políticas Públicas Universidade do Estado do Rio de Janeiro AAPE Comité Editorial Español y Portugués Adrián Acosta (México) Universidad de Guadalajara aacosta@cucea.udg.mx J. Félix Angulo Rasco (Spain) Universidad de Cádiz felix.angulo@uca.es Teresa Bracho (México) Centro de Investigación y Docencia Económica-CIDE bracho dis1.cide.mx Alejandro Canales (México) Universidad Nacional Autónoma de México canalesa@servidor.unam.mx Ursula Casanova (U.S.A.) Arizona State University casanova@asu.edu José Contreras Domingo Universitat de Barcelona Jose.Contreras@doe.d5.ub.es Erwin Epstein (U.S.A.) Loyola University of Chicago Eepstein@luc.edu Josué González (U.S.A.) Arizona State University josue@asu.edu Rollin Kent (México) Universidad Autónoma de Puebla rkent@puebla.megared.net.mx María Beatriz Luce (Brazil) Universidad Federal de Rio Grande do Sul-UFRGS lucemb@orion.ufrgs.br Javier Mendoza Rojas (México) Universidad Nacional Autónoma de México javiermr@servidor.unam.mx Marcela Mollis (Argentina) Universidad de Buenos Aires mmollis@filo.uba.ar 30 of 31 Humberto Muñoz García (México) Universidad Nacional Autónoma de México humberto@servidor.unam.mx Angel Ignacio Pérez Gómez (Spain) Universidad de Málaga aiperez@uma.es Daniel Schugurensky (Argentina-Canadá) OISE/UT, Canada dschugurensky@oise.utoronto.ca Simon Schwartzman (Brazil) American Institutes for Resesarch–Brazil (AIRBrasil) simon@sman.com.br Jurjo Torres Santomé (Spain) Universidad de A Coruña jurjo@udc.es Carlos Alberto Torres (U.S.A.) University of California, Los Angeles torres@gseisucla.edu EPAA Editorial Board Editor: Gene V Glass Arizona State University Michael W. Apple University of Wisconsin David C. Berliner Arizona State University Greg Camilli Rutgers University Linda Darling-Hammond Stanford University Sherman Dorn University of South Florida Mark E. Fetler California Commission on Teacher Credentialing Gustavo E. Fischman California State Univeristy–Los Angeles Richard Garlikov Birmingham, Alabama Thomas F. Green Syracuse University Aimee Howley Ohio University Craig B. Howley Appalachia Educational Laboratory William Hunter University of Ontario Institute of Technology Patricia Fey Jarvis Seattle, Washington Daniel Kallós Umeå University Benjamin Levin University of Manitoba Thomas Mauhs-Pugh Green Mountain College Les McLean University of Toronto Heinrich Mintrop University of California, Los Angeles Michele Moses Arizona State University Gary Orfield Harvard University Anthony G. Rud Jr. Purdue University Jay Paredes Scribner University of Missouri Michael Scriven University of Auckland Lorrie A. Shepard University of Colorado, Boulder Robert E. Stake University of Illinois—UC Kevin Welner University of Colorado, Boulder 31 of 31 Terrence G. Wiley Arizona State University John Willinsky University of British Columbia