¿Por qué varía el desempeño entre estudiantes de baja condición social? Factores escolares y domésticos asociados al logro en seis países sudamericanos Página web: http://epaa.asu.edu/ojs/ Artículo recibido: 19/7/2021 Facebook: /EPAAA Revisiones recibidas: 8/11/2022 Twitter: @epaa_aape Aceptado: 24/11/2022 archivos analíticos de políticas educativas Revista académica evaluada por pares, independiente, de acceso abierto y multilingüe Arizona State University Volumen 31 Número 17 21 de febrero 2023 ISSN 1068-2341 ¿Por Qué Varía el Desempeño entre Estudiantes de Baja Condición Social? Factores Escolares y Domésticos Asociados al Logro en Seis Países Sudamericanos Daniel Míguez Instituto de Geografía, Historia y Ciencias Sociales UNCPBA-CONICET Argentina Citation: Míguez, D. (2023). ¿Por qué varía el desempeño entre estudiantes de baja condición social? Factores escolares y domésticos asociados al logro en seis países sudamericanos. Archivos Analíticos de Políticas Educativas, 31(17). https://doi.org/10.14507/epaa.31.7092 Resumen: Este artículo examina las condiciones domésticas y escolares asociadas a los puntajes obtenidos en las pruebas PISA 2018 por los y las estudiantes de menores recursos en seis países sudamericanos: Argentina, Brasil, Chile, Colombia, Perú y Uruguay. A diferencia de los estudios que comparan estudiantes de diversos estratos sociales, comparamos las características de las escuelas y los hogares donde los/as estudiantes que pertenecen a los estratos más carecientes logran mayores puntajes en las pruebas con aquellas en las que logran puntajes más bajos. Esta comparación pone en evidencia que existen variaciones en la disponibilidad de recursos educativos en el hogar de estudiantes del mismo estrato que se asocian al desempeño. También existen actitudes estudiantiles desfavorables al aprendizaje (como el escaparse de clases, ausentarse o el bullying entre compañeros) que afectan los aprendizajes. En cambio, la disponibilidad de recursos pedagógicos o de infraestructura en las escuelas, y las actitudes docentes frente al aprendizaje no presentan una asociación estadísticamente robusta. Palabras-clave: desempeño; estrato social; pobreza; recursos escolares; recursos familiares actitudes frente al aprendizaje; Sudamérica http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.31.7092 Archivos Analíticos de Políticas Educativas Vol. 31 No. 17 2 Why does performance vary among students of low socio-economic status? School and domestic factors associated to academic achievement in six South American countries Abstract: This article examines the family and school conditions associated with the scores obtained in the PISA 2018 tests by low-income students in six South American countries: Argentina, Brazil, Chile, Colombia, Peru and Uruguay. Unlike studies that compare students from different social strata, we compare the characteristics of schools where students belonging to the poorest social sectors achieve higher test scores with those in which they achieve lower scores. This comparison shows that there are variations in the availability of educational resources in the home of students from the same stratum that are associated with their performance. There are also unfavorable student attitudes to learning (such as skipping classes, absent or bullying between peers) that affect learning. In contrast, the availability of pedagogical resources or infrastructure in schools, and teacher attitudes toward learning do not present a statistically robust association. Keywords: performance; social strata; poverty; school resources; familial resources; attitudes toward learning; South America Por que o desempenho varia entre alunos de baixo status social? Fatores escolares e domésticos associados ao desempenho em seis países da América do Sul Resumo: Este artigo examina as condições familiares e escolares associadas às pontuações obtidas nos testes PISA 2018 por alunos de baixa renda em seis países da América do Sul: Argentina, Brasil, Chile, Colômbia, Peru e Uruguai. Ao contrário dos estudos que comparam alunos de diferentes estratos sociais, comparamos as características das escolas em que os alunos que pertencem aos estratos mais pobres alcançam pontuações mais altas em testes com aqueles em que obtêm pontuações mais baixas. Essa comparação mostra que há variações na disponibilidade de recursos educacionais no domicílio de alunos do mesmo estrato que estão associadas ao desempenho. Também existem atitudes desfavoráveis dos alunos em relação à aprendizagem (como faltar às aulas, faltar ou intimidar os colegas) que afetam a aprendizagem. Em contraste, a disponibilidade de recursos pedagógicos ou infraestrutura nas escolas e as atitudes dos professores em relação à aprendizagem não apresentam uma associação estatisticamente robusta. Palavras-chave: desempenho; estratos sociais; pobreza; recursos escolares; recursos familiares; atitudes em relação à aprendizagem; América do Sul ¿Por Qué Varía el Desempeño entre Estudiantes de Baja Condición Social? Factores Escolares y Domésticos Asociados al Logro en Seis Países Sudamericanos El propósito de este artículo es identificar algunas de las características de los hogares y escuelas que favorecen el desempeño escolar de los/as estudiantes que pertenecen a los estratos de menores recursos en seis países sudamericanos. A diferencia de los estudios que comparan alumnos/as de diversos estratos sociales, analizamos las diferencias al interior de un mismo estrato: estudiantes cuyos padres o madres no superaron la educación primaria y tienen empleos de bajo estatus ocupacional. Basamos la comparación en datos surgidos de las pruebas PISA del 2018. Inicialmente, estimamos la media por escuela de los puntajes obtenidos por los/as estudiantes de menores recursos en las áreas de matemática, lengua y ciencia. En base a estos resultados, comparamos dos tipos de escuela: aquellas que alcanzan los puntajes promedio más altos y las que logran los más bajos (aproximadamente el primer y último cuartil) con el objetivo ¿Por qué varía el desempeño entre estudiantes de baja condición social? 3 de reconocer las condiciones vinculadas a las mayores diferencias en el desempeño. Para establecer las características (recursos y prácticas educativas) de los hogares y las escuelas utilizamos la información que surge de las encuestas a estudiantes y directores complementarias a las pruebas. Así, tomamos las respuestas promedio de los/as estudiantes y directores de los dos tipos de escuela sobre las características de sus hogares y establecimientos educativos como unidad de análisis para efectuar la comparación. Para examinar la variación entre las respuestas promedio de estudiantes y directores empleamos el análisis de la varianza de un factor. Con esta técnica estimamos la medida en que las características de los hogares y establecimientos educativos difieren entre los/as estudiantes que asisten a escuelas con mayores y menores puntajes promedio. Dicho con más precisión: comparamos las diferencias en las medias de las respuestas que dan directores y estudiantes sobre las características de sus hogares y establecimientos educativos agrupadas por tipo de escuela. Los resultados que alcanzamos con esta aproximación no revelan vínculos causales de tipo nomológico- predictivo. Es decir, no implican relaciones de determinación que permitan predecir la proporción en que variará el desempeño según la magnitud de las variaciones en cada una de las características de los hogares y escuelas. Sin embargo, sugieren formas alternativas de asociación (que discutiremos luego) que no dejan de ser relevantes y resultan más características de los fenómenos sociales. Llevamos a cabo este estudio comparando seis países: Argentina, Brasil, Chile, Colombia, Perú y Uruguay. Elegimos comparar países (además de escuelas y hogares) ya que la investigación precedente ha establecido la importancia de observar la medida en que las condiciones escolares y domésticas asociadas a las diferencias en el desempeño se mantienen constantes o varían entre distintos contextos nacionales. Limitamos la comparación a los países sudamericanos incluidos en las pruebas 2018, porque desentrañar la variedad de tendencias que surgirían de incluir más naciones (por ejemplo, agregar los países centroamericanos) supera las posibilidades de un solo artículo. Por otro lado, en Sudamérica existe una incipiente tradición de estudios a la que podremos aportar a partir de estos seis casos. En la próxima sección sintetizamos los avances de la investigación sobre la relación entre condiciones escolares y desempeño en estratos de escasos recursos. Luego detallamos las variables y el método. Posteriormente, presentamos los principales resultados. Inicialmente, describiendo las diferencias entre países y luego comparando hogares y escuelas en las que las/os estudiantes de escasos recursos logran mayores y menores puntajes en las pruebas. Finalmente, evaluamos los resultados del estudio en relación a los avances en el campo. Antecedentes Las investigaciones sobre las variaciones en el desempeño entre estudiantes de bajo estatus sociocultural se iniciaron a partir de la comprobación de que, aun siendo del mismo estrato, diferentes alumnos/as lograban niveles de aprendizaje desiguales en distintas escuelas (Mace, 1987; Neufeld, 1983). A partir de estos resultados un creciente conjunto de estudios procuró identificar las características de las escuelas que promovían los mayores logros en los/as estudiantes más carenciados. Estos esfuerzos permitieron reconocer, progresivamente, a un conjunto de factores que reaparecían en estas escuelas y que parecían asociarse al desempeño. No obstante estos avances, los hallazgos no revelaban patrones simples. A medida que los estudios incluyeron más locaciones y contextos nacionales, se descubrieron nuevas condiciones asociadas al logro y también matices en las formas que asumía esa asociación. Así, comenzó a notarse que a la vez que ciertas condiciones se asociaban al desempeño con más asiduidad que otras, existían variaciones dentro de esa recurrencia (Kyriakides et al. 2013; Sammons y Bakkum, 2011). Los estudios se abocaron entonces a reconocer tanto los factores que reaparecían con mayor frecuencia, como las variaciones que experimentaban. Archivos Analíticos de Políticas Educativas Vol. 31 No. 17 4 Esta nueva perspectiva derivó en resultados de gran complejidad que no podemos resumir aquí (puede encontrarse una temprana síntesis en Purkey y Smith, 1982; y otras más recientes en Scheerens et al., 2013 o Downey y Condron, 2016). No obstante, mencionaremos algunas de las regularidades que aparecen como más prominentes en el campo y que pueden ser aproximadas desde los datos provistos por las pruebas PISA 2018. La primera síntesis de las características que distinguían a las escuelas en donde los/as estudiantes carenciados alcanzaban mayores desempeños fue propuesta Edmonds (1979). Reexaminando las investigaciones llevadas a cabo hasta entonces, reconoció 5 condiciones comunes a esas escuelas: 1) un fuerte liderazgo institucional; 2) altas expectativas de logro respecto a los/as estudiantes; 3) un clima de orden centrado en el aprendizaje; 4) énfasis en la adquisición de las habilidades básicas; 5) evaluación frecuente del progreso de los/as estudiantes. Estos cinco factores reaparecieron con notable regularidad en investigaciones subsiguientes, aunque podían combinarse con un conjunto mayor de condiciones concomitantes (Reynols et al., 2014). Por ejemplo, al resumir los últimos avances, Scheerens et al. (2013) encuentran que muchos estudios confirman la relevancia del liderazgo institucional centrado en la enseñanza y la expectativa de los/as docentes sobre el logro de los/as estudiantes. Pero incorporan varios factores complementarios como la habilidad de los/as docentes para adaptar los contenidos a la capacidad de los/as estudiantes, y la claridad con que fijan y ordenan los objetivos de cada clase (Campbell et al., 2004; Kyriakides y Creemers, 2008). Si bien las teorías en este campo se han mantenido dentro de lo que Merton (1968) tempranamente denominó ‘generalizaciones de alcance medio’, la asiduidad con que se repetían estos fenómenos llevó a incorporar dos premisas en los estudios posteriores. La atención sistemática por parte de docentes y directivos a las actividades y procesos de enseñanza y aprendizaje caracterizaba a las instituciones que promovían los mayores logros. Y, asociado a ello, la sistematicidad en la organización de los contenidos y de las secuencias con que eran impartidos también se vinculaba al desempeño. Las nuevas investigaciones también notaron que ciertas actitudes estudiantiles caracterizaban a las escuelas en las que los/as estudiantes alcanzaban mejores desempeños. Entre los factores más regulares se destacaba el tiempo concreto de aprendizaje en el aula, y consecuentemente la ausencia de actitudes disruptivas en las clases. Además, encontraron que en las escuelas donde los/as estudiantes alcanzaban mayores logros, estos/as tenían actitudes más perseverantes y valoraban más el conocimiento impartido en la escuela (Sammons et. al., 1995; Scheerens y Creemers, 1989; Slavin, 1994). En muchos casos, este conjunto de factores, más algunos de los que caracterizaban a las prácticas y actitudes docentes, fueron agregados formando un índice del ‘clima escolar’. Así, en una gran cantidad de estudios el ‘clima escolar armonioso’ apareció como una de las condiciones que caracteriza a las escuelas donde los/as estudiantes alcanzan mejores desempeños. Además de encontrar algunos de los factores con más relación al desempeño, también fue común la relativización de algunas de las condiciones que se presumían asociadas a él. Sobre todo en las etapas iniciales de la investigación se asumía que la disponibilidad de recursos educativos en las escuelas enriquecería los procesos de aprendizaje, y que la infraestructura escolar y el nivel de calificación de los/as docentes también lo harían. Notablemente, ni siquiera las investigaciones iniciales confirmaron esta tendencia. Los investigadores resultaron sorprendidos por el hecho de que la infraestructura y la disponibilidad de recursos educativos en las escuelas por sí mismos no aparecieran asociados al logro. Incluso se verificó con bastante regularidad que la calificación de los docentes no se relaciona consistentemente con él (Murnane, 1981).1 1 Según Murnane, la calificación como requisito formal no se asocia a mayores desempeños. La relación sí parecería estar presente cuando los/las docentes procuran incrementar su calificación por interés propio. ¿Por qué varía el desempeño entre estudiantes de baja condición social? 5 Una cuestión adicional es que mientras estos resultados mantenían una marcada regularidad, también existían variaciones en la incidencia relativa de cada factor y en las combinaciones que mantenían mayor asociación con el logro en distintos contextos. Si bien no podemos detallar cada matiz aquí, una conclusión general es que la magnitud de la asociación y la manera en que se articulan las condiciones entre sí varían según los sistemas educativos de cada país (Kyriakides y Creemers, 2008) En América Latina la investigación sobre los factores asociados a las variaciones en el desempeño de estudiantes carenciados se encuentran aún en una etapa embrionaria o inicial (Murillo, 2003).2 No obstante, existen algunos avances que si bien no replican exactamente las mismas variables, muestran resultados compatibles con los alcanzados en otras regiones. En los dos estudios más comprensivos (realizados para el nivel primario) se encontró que una condición recurrentemente asociada al logro era la expectativa de los docentes de que los/as estudiantes pudieran acceder a un conjunto de conocimientos básicos independientemente de su condición social (Casassus, 2001; Teviño et al., 2010). Estos estudios también mostraron que cuando los/as docentes atribuían el desempeño a las habilidades de los/as estudiantes y no a su condición social de origen los niveles de logro se incrementaban. Otro factor coincidente en ambas investigaciones y que se aproximaba a resultados previos se refiere al clima escolar. Aunque no precisaron sus características, ambos estudios indicaron que un clima escolar armonioso era otra de las condiciones vinculadas al logro (Casassus, 2001; Treviño, 2010,). Otras coincidencias interesantes refieren a las condiciones que mostraron una asociación menos robusta con el logro. En concordancia con lo hallado en otras regiones, en los estudios sobre América Latina condiciones como la infraestructura escolar (computadoras, recursos pedagógicos, etc.) o la experiencia y formación docente no aparecieron consistentemente vinculadas al desempeño (Casassus, 2001; Teviño et al., 2010). Aunque en general estos resultados se repitieron en la mayoría de los países de la región, se encontraron variaciones entre ellos. Por ejemplo, mientras el clima escolar favorable producía un incremento de más de 40 puntos entre los estudiantes argentinos de 3° grado en las áreas de lectura o matemática, su efecto era sustantivamente menor en Chile o Uruguay donde no superaba los 20 puntos (Treviño et al., 2010). La calidad de gestión del director tenía una influencia más acotada, pero asimismo variable. Introducía diferencias de entre 5 y 7 puntos en Chile o Brasil, pero éstas resultaban nulas en la mayoría de los demás países (Treviño et al., 2010). Así, en coincidencia con lo hallado en otras regiones, los estudios para Latinoamérica también mostraron que aún los factores más asociados al logro mantienen grados de vinculación diferentes en distintos contextos nacionales. Las pruebas PISA 2018 permiten aproximarnos a algunas de las condiciones que han sido señaladas como las más frecuentemente vinculadas al desempeño en los estudios anteriores, aunque para el nivel secundario. En principio, podremos comparar la infraestructura y los recursos disponibles en los establecimientos educativos. Esto nos permitirá ver el grado en que se confirma la tendencia a que no se encuentren ligados al desempeño que sugieren las investigaciones preexistentes. Asimismo, podremos estimar el grado en que las prácticas y actitudes docentes se vinculan las diferencias en los niveles de logro entre escuelas. Las variables con que contamos no miden siempre las mismas prácticas que en los estudios anteriores, sin embargo algunas aproximan 2 En los países considerados en este estudio los avances en este campo son dispares, con enfoques heterogéneos que no podemos resumir aquí. Chile presenta la mayor producción con, entre otros, dos estudios comprensivos y secuenciales (Bellei et al., 2004; Bellei et al., 2015). Otros países, como Brasil, Colombia, Ecuador o Perú muestran algunos avances, aunque los estudios no siempre tienen abordajes comparables (e.g., Barbosa y Fernández, 2001; Cueto, 2003; Cueto et al., 2003; Franco et al., 2001; Piñeros y Rodriguez Pinzón, 1998; Soares, et al., 2001). Finalmente, en algunos países, como Argentina, Uruguay, Paraguay o Ecuador no existen estudios específicos. Archivos Analíticos de Políticas Educativas Vol. 31 No. 17 6 dimensiones análogas que las hacen parcialmente comparables. Por ejemplo, miden si los docentes utilizan la repregunta como método, o si se preocupan por el aprendizaje de los/as estudiantes. Algo similar ocurre respecto a las actitudes y prácticas estudiantiles. Tanto los estudios llevados a cabo en América Latina como en otras regiones, suelen integrar las diversas actitudes y prácticas estudiantiles en la variable ‘clima escolar’, sin especificar su contenido más allá de calificarlo como ‘ordenado’ o ‘armónico’. En este caso, no construiremos un índice unificado, sino que examinaremos cada una de las variables por separado para poder establecer qué aspectos del clima escolar se asocian a las mayores diferencias. No obstante, muchas de estas variables indican el grado de orden y/o armonía que caracteriza la actividad cotidiana en la escuela o la predisposición a estudiar que tienen los/as estudiantes. Finalmente, agregaremos el examen de las condiciones que diferencian a los hogares de los/as estudiantes que concurren a las escuelas donde alcanzan mayores logros. Debido a que, en general, parten de la premisa de que son estudiantes del mismo estrato los estudios previos no han abordado esta condición. Sin embargo, que estos estudiantes compartan algunas condiciones socioeconómicas no garantiza una igualdad absoluta entre los espacios domésticos en que habitan. Variables y Métodos Las pruebas PISA se aplican a una muestra representativa de los/as estudiantes de entre 15 años y tres meses y 16 años y dos meses que se encuentran dentro del sistema educativo de cada país y al menos en su 7° año de escolarización.3 Mientras las pruebas en sí establecen puntajes según los niveles de desempeño, los cuestionarios complementarios (a directores/as y alumnos/as) proveen información que permite estimar la condición social de los/as estudiantes, las características de sus hogares y de las escuelas a las que asisten. Si bien las bases PISA proveen información valiosa, también presentan limitaciones. En nuestro caso la más relevante resulta del marco muestral. En la mayoría de los países incluidos en este estudio se produce un importante grado de deserción antes de los 15 años, particularmente en los estratos de menores recursos (Kruger, 2019). Esto se refleja en la limitada cantidad de estudiantes del estrato que encontramos en las escuelas incluidas en la muestra, lo que condiciona parte de los resultados de nuestro estudio e incluso nos obliga a modificar los parámetros de la comparación en algunos países (lo detallamos luego). Entre las limitaciones se ha señalado también que las pruebas no consideran al conjunto de habilidades adquiridas por los/as estudiantes. Por ejemplo, no estiman el grado en que los/as alumnos/as podrían aplicar los conocimientos evaluados en el examen en situaciones cotidianas (Carabaña, 2005; Pereyra et al., 2013). Además, su formato y contenidos se adecúan más a las características de los sistemas educativos de los países que integran la OCDE (Organización para la Cooperación y el Desarrollo Económico) que a los de otras regiones en donde se toman las pruebas, como América Latina (Meyer & Benavot, 2013; Rivas, 2015). A pesar de estas limitaciones, diversas investigaciones han mostrado que existe un nexo entre el tipo de conocimiento evaluado en las pruebas y la condición social futura de los/as estudiantes, por ejemplo su eventual estatus ocupacional y consecuentes niveles de ingreso (Bertschy et al., 2008; Flores Mendoza, et al., 2021). De manera que comprender las condiciones que favorecen el desempeño de los/as estudiantes de menores recursos en las pruebas es un medio para identificar 3 Se aplica un marco muestral por conglomerados en dos etapas: una selección aleatoria de escuelas proporcional a su ‘tamaño’ (cantidad de estudiantes) y una selección aleatoria de estudiantes del rango etario establecido dentro de cada escuela. Se excluyen las escuelas en las que menos del 2% de los estudiantes pertenece a la población a encuestar, cuando son de difícil acceso o con muy pocos estudiantes. Solo se excluyen estudiantes cuando tienen impedimentos motrices para acceder a las instancias de examen, o cuando no poseen un conocimiento básico del idioma del examen (para más detalles ver OCDE, 2016). ¿Por qué varía el desempeño entre estudiantes de baja condición social? 7 formas de promover mejoras en su condición social. Así, es posible aprovechar los datos que producen las pruebas siempre que se tomen en cuenta sus limitaciones (Martinez García, 2016,). En este caso identificamos seis variables incluidas en las pruebas PISA 2018 que resultan apropiadas a nuestro estudio. 1.-Desempeño. Esta variable expresa el promedio por escuela del puntaje alcanzado por los/as estudiantes en las pruebas. Los puntajes se estiman mediante el método de ‘valores plausibles’, por lo que en las bases se presentan diez puntajes posibles para cada estudiante en cada área de conocimiento evaluada: matemática, lectura y ciencia (ver OCDE, 2018 para más detalles). Según las recomendaciones de la OCDE, estos valores no deben promediarse entre sí, aunque sí puede alcanzarse una medida unificada promediando los estadísticos que surgen de ellos (e.g. medias, coeficientes de correlación o regresión, etc.). Siguiendo estas recomendaciones, inicialmente estimamos de manera independiente la media por escuela para cada uno de los valores plausibles en cada una de las áreas de conocimiento. En base a ello, estimamos una media general por escuela. Finalmente, construimos una media entre las tres áreas de conocimiento, para obtener una medida unificada del desempeño promedio por escuela.4 A partir de esta variable diferenciamos entre los dos tipos de escuela que incluimos en la comparación según criterios que explicaremos posteriormente. 2.-Estrato social. Para estimarlo combinamos dos variables, el máximo nivel educativo alcanzado por los padres o madres y su estatus ocupacional. La primera variable diferencia entre 5 niveles educativos: sin educación, hasta primaria completa, hasta secundaria básica completa, secundaria superior completa, nivel terciario y universitario. En este estudio analizamos los primeros dos estratos combinados (sin educación y primaria completa) y excepcionalmente incluimos hasta secundaria básica completa (explicamos los motivos luego). La segunda variable distingue entre grupos de estatus ocupacional. El estatus ocupacional expresa el mayor valor alcanzado por uno de los progenitores en el Índice Internacional de Estatus Ocupacional elaborado por Ganzeboom y Treiman (2003). En este caso tomamos el estrato que alcanza los 25 puntos en promedio. Así, nuestro estudio se centra en aquellos/as estudiantes cuyos progenitores no superaron el nivel primario y promedian los 25 puntos de estatus ocupacional. Preferimos definir el estrato social objeto del estudio con esta combinación de indicadores porque permite delimitar el estrato de menor condición social con mayor precisión que el indicador de ‘estatus económico social’ incluido en las bases. Este último agrega una diversidad de factores en una variable unificada que no cumple con los criterios de fiabilidad para los seis países considerados aquí (Alfa de Cronbach: 0,317). 3.-Recursos del hogar. El cuestionario a estudiantes provee variables sobre la disponibilidad de recursos educativos presentes en el ámbito hogareño o doméstico. Estos incluyen escritorios para realizar las tareas escolares, lugares tranquilos para estudiar, la disponibilidad de computadoras para tareas educativas, disposición de software específico para dichas tareas, conexión a internet, textos complementarios para las tareas escolares y un diccionario. La variable es dicotómica, estableciendo 4 Si bien existen matices en los niveles de desempeño en las distintas áreas de conocimiento (e.g. las diferencias entre países o entre estratos suelen ser mayores en las áreas de matemática y ciencia que en la de lengua) optamos por construir una medida unificada de ellas. En parte porque, más allá de estos matices, los resultados en las tres áreas están fuertemente correlacionadas (Alfa de Cronbach, 0,95). Por otro lado, incluir análisis separados para las tres áreas incrementaría excesivamente la extensión del texto, mientras que reducir el análisis a solo una de ellas no permitiría reconocer las condiciones vinculadas al desempeño general de los/as estudiantes. De manera que elegimos dejar para un estudio posterior el examen de las diferencias entre áreas de conocimiento, para privilegiar la comprensión de las condiciones asociadas al desempeño general de los y las estudiantes. Archivos Analíticos de Políticas Educativas Vol. 31 No. 17 8 si los/as estudiantes disponen o no de estos elementos. Nuestras estimaciones expresan la proporción de estudiantes que disponen de estos recursos en cada tipo de escuela. 4.-Actitudes frente al aprendizaje (percepción de las/os estudiantes). En el cuestionario a estudiantes se indaga sobre un conjunto de variables que en otros estudios han formado parte de los indicadores del ‘clima escolar’. Por razones que ya explicamos, en este caso tomamos las variables individualmente. El cuestionario pregunta con qué frecuencia los/as estudiantes perciben que en sus clases: ‘no se escucha lo que dice el docente’; ‘hay ruido y desorden’; ‘el docente debe esperar para que los estudiantes hagan silencio’; ‘los estudiantes no pueden trabajar bien’; ‘los estudiantes no comienzan la tarea por un largo rato’; ‘el docente muestra interés en el aprendizaje de cada estudiante’; ‘el docente da ayuda extra cuando el estudiante la necesita’; ‘el docente ayuda a los estudiantes con sus aprendizajes’; ‘el docente sigue explicando hasta que los estudiantes entienden’; ‘el docente fija metas de aprendizaje claras’; ‘el docente hace preguntas para ver si los estudiantes comprendieron’; ‘el docente presenta un breve resumen de la clase anterior’; ‘el docente explicita lo que deben aprender’. Las respuestas se desagregan en una escala de Likert de 4 puntos que indica la frecuencia con que se repiten estas prácticas o actitudes: 1) todas las clases; 2) la mayoría de las clases; 3) algunas clases; 4) nunca o casi nunca. 5.-Recursos escolares. El cuestionario a directores incluye información sobre la disponibilidad de recursos en sus establecimientos educativos. En particular establece si en cada escuela existe: ‘falta de personal docente’; ‘personal docente poco calificado’; ‘falta de personal auxiliar’; ‘personal auxiliar poco calificado’; ‘falta de material educativo’; ‘material educativo de baja calidad’; ‘falta de infraestructura edilicia’; ‘infraestructura edilicia de baja calidad.’ Las respuestas posibles son: 1) en absoluto; 2) muy poco; 3) en alguna medida; 4) mucho. 6.-Actitudes frente al aprendizaje (percepción de los directores). Similar al cuestionario a estudiantes, el de los/as directores/as también incluye preguntas sobre actitudes de estudiantes y docentes referidas al aprendizaje. Respecto a los primeros, el cuestionario indaga la medida en que el aprendizaje es obstaculizado por que los/as estudiantes ‘se escapan de las clases’; ‘faltan a las clases’; ‘le faltan el respeto a los docentes’; ‘abusan del alcohol o las drogas’; ‘le hacen bullying a otros’; ‘no están atentos’. En relación a los segundos, se pregunta sobre el grado en que los/as docentes: ‘no responden a las necesidades de los estudiantes’; ‘faltan a sus clases’; ‘resisten el cambio’; ‘son demasiado estrictos’; ‘no preparan bien sus clases’. En todos los casos las respuestas se presentan en una escala de Likert que indica la frecuencia con la que perciben estas actitudes y prácticas: 1) en absoluto; 2) muy poco; 3) en alguna medida; 4) mucho. En el total de los seis países, 4784 estudiantes del estrato más carenciado y 175 directores de escuela contestaron la encuesta. La media de desempeño para el conjunto de estudiantes resultó de 370 puntos. La media por escuela se extendía entre los 216 y los 591 puntos. Con el objetivo de identificar los factores asociados a las mayores diferencias en los niveles de desempeño, decidimos comparar las escuelas ubicadas en los extremos de la escala: aquellas que no superaban los 340 y las que alcanzaban medias de 400 o más puntos. Si bien nuestra intención inicial fue comparar las escuelas dentro del primer y último cuartil, modificamos levemente los puntos de corte de manera de incluir un mínimo de escuelas de cada tipo en cada país.5 Estimamos las medias por escuela considerando solo a los/as estudiantes del estrato seleccionado. Así, comparamos el desempeño de estudiantes del mismo estrato en distintas escuelas, sin que la comparación quede sesgada por la proporción de estudiantes de otros estratos que concurren a las mismas. Para evitar que los promedios por escuela quedaran asociados al desempeño de muy pocos estudiantes, solo incluimos aquellas donde hubiera 5 o más alumnos/as de los estratos de menores 5 Incrementamos el punto de corte del primer cuartil de 332 a 340 y redujimos el del cuartil de 420 a 400 para lograr un mínimo de escuelas de cada tipo. ¿Por qué varía el desempeño entre estudiantes de baja condición social? 9 recursos y con poca dispersión en torno al puntaje promedio obtenido por ellos o ellas (desviación estándar menor al 25% de la media). En total, 558 alumnos/as se encontraban en escuelas donde los/as estudiantes de este estrato social habían alcanzado una media superior a los 400 puntos, mientras que 753 estaban en escuelas donde estos no superaban una media de 340 puntos. El primer grupo de estudiantes se concentraba en 73 escuelas y el segundo en 102 de ellas. En principio, este recorte muestral incrementaba el error estándar y reducía la confiabilidad de los estadísticos dado que estos dependen en parte de la cantidad de casos en que se basan las estimaciones (Sullivan y Feinn, 2012, p., 279). Logramos limitar esta dificultad, ya que la base surgida del cuestionario a estudiantes incluye un ponderador que permite multiplicar los casos según el tamaño (cantidad de estudiantes) de cada escuela y según la proporción de estudiantes de la población seleccionada en cada una de ellas (ver OCDE, 2015, p. 116 para más detalles). Al aplicar el ponderador, la cantidad de casos en escuelas con promedios superiores a 400 puntos llegaba a 44896 y en escuelas con promedios inferiores a los 340 a 72830. Esto nos permitió reducir el error estándar y el valor de alfa (o p valor) incrementado la validez de los resultados. No fue posible aplicar el mismo procedimiento a las variables surgidas del cuestionario a directores, ya que las bases no incluyen un ponderador equivalente. Así, las estimaciones realizadas en base a las variables surgidas del cuestionario a estudiantes resultaron más robustas al basarse en una mayor cantidad de casos. Mientras la imposibilidad de aplicar el mismo procedimiento en las variables surgidas del cuestionario a directores generó resultados más inciertos. Más allá de esta limitación, es importante tomar en cuenta que los coeficientes de significación no constituyen referencias diacríticas que separan resultados válidos de inválidos. Lo que establecen es el grado en que la relación encontrada difiere de la que podría darse por azar (Molina Arias, 2017, p. 379). A su vez, estos coeficientes no indican la magnitud de la relación entre variables (‘tamaño del efecto’), por lo que dicen poco sobre la relevancia de la asociación para comprender el fenómeno estudiado (Cohen, 1988, p. 4-5). De hecho, relaciones de magnitudes muy limitadas pueden resultar confiables si se basan en una extensa cantidad de casos, y relaciones de magnitudes importantes pueden no cumplir los criterios de significación si se fundan en una limitada cantidad de casos. Así, podrían tomarse como válidas relaciones poco relevantes pero basadas en muestras extensas, y considerar como no válidas relaciones relevantes pero fundadas en pocos casos. Por tanto, una apropiada interpretación de estos coeficientes resulta de sopesar, junto a la magnitud del estadístico estimado, el riesgo entre asumir que las variables están relacionadas cuando no hay certeza de ello (errores de tipo 1), y suponer que no hay relación cuando hay probabilidades de que exista (errores de tipo 2). Para realizar la comparación entre tipos de escuelas y hogares empleamos el análisis de la varianza de un factor. Estos permiten estimar las diferencias entre las medias de variables cuantitativas según las categorías de una variable cualitativa. Por ejemplo, cómo varía la proporción de estudiantes que disponen de computadoras o conexiones a internet en sus hogares entre escuelas donde los/as alumnos/as alcanzan mayores o menores desempeños. Como ya señalamos, este tipo de aproximación no da lugar a explicaciones basadas en modelos nomológicos o predictivos de causalidad. En cambio, los resultados que alcanzamos sugieren que, como suele ocurrir con los fenómenos sociales, más que incidir independientemente unas sobre otras, las condiciones que examinamos mantienen lazos recíprocos constituyendo contextos de características diversas. Si bien en este estudio no podremos llegar a conclusiones definitivas, los resultados que alcanzamos al menos sugieren cómo se diferencian los contextos escolares y familiares que favorecen el desempeño de aquellos que no lo hacen o lo hacen en menor medida y los matices que tienen estas configuraciones en distintos contextos nacionales. Archivos Analíticos de Políticas Educativas Vol. 31 No. 17 10 Diferencias entre Países En esta sección presentamos los resultados desagregados por país como contexto al análisis de las diferencias entre hogares y escuelas que tendrá lugar en las secciones subsiguientes. De la comparación entre países surge que los estudiantes chilenos son los que logran la media de desempeño más alta (438 puntos). Uruguay (423) se encuentra en segundo lugar y Colombia (406) en tercero. Perú (401), Brasil (401) y Argentina (396), tienen los puntajes más bajos.6 En los tres países con puntajes más altos, también los estratos de menores recursos logran desempeños por sobre el promedio regional del sector (370 puntos). Colombia alcanza la media más alta con 382 puntos, le sigue Chile con 380 y Uruguay con 379. Brasil (365), Argentina (351) y Perú (345) son, nuevamente, las naciones con desempeños por debajo de la media regional. Además de las diferencias en el desempeño, existen matices en la composición social de los sistemas educativos de los distintos países. En Argentina el 11,2% de los/as estudiantes tenían padres o madres que no habían superado el nivel primario; 5% de ellos/as asistían a 12 escuelas con una media de 400 o más puntos y 27,8% concurrían a un total de 47 escuelas con promedios de 340 o menos. En Brasil 14,7% de los/as estudiantes provenían del estrato más pobre, 11% de ellos/as asistían a 28 escuelas dentro del primer grupo y 14% a 23 escuelas del segundo. En Colombia casi 13% de los estudiantes pertenecían al estrato que analizamos. Los/as estudiantes que asistían a escuelas con medias de 400 o más puntos eran más (24% en 24 escuelas) que aquellos que no superaban los 340 (8,5% en 11 escuelas). En Uruguay encontramos que el 12% pertenecían al estrato más pobre, 15% asistían a 14 escuelas donde superaban los 400 puntos promedio y 8% reunidos en 8 escuelas donde no alcanzaban los 340. Al igual que Colombia, en Uruguay los/as estudiantes en escuelas con desempeños más favorables eran más que quienes se encontraban en escuelas con peores desempeños relativos. Los casos de Chile y Perú presentan particularidades. Debido a la gran proporción de la población que accede a la educación secundaria,7 en el primer país solo 138 (1,8%) estudiantes tenían progenitores que no había superado el nivel primario. Ninguna escuela con cinco o más estudiantes del sector alcanzaba los 400 puntos promedio, y apenas 7 alumnos/as reunidos en una escuela alcanzaban los 340 puntos. Debido a estas limitaciones, para poder llevar a cabo el estudio incorporamos estudiantes cuyos padres o madres habían accedido al nivel secundario. Agregando este estrato, la cantidad de estudiantes se incrementó a 836 (11% del total). En 29 escuelas, que reunían a 234 estudiantes (28% del estrato), había 5 o más alumnos/as que alcanzaban o superaban los 400 puntos promedio. Notablemente, siguió siendo sólo una escuela la que reunía a 5 o más estudiantes del sector que no superaban los 340 puntos promedio. Elevando el límite a los 370 puntos, 123 (14%) estudiantes agrupados en 11 escuelas reunían esta condición. Las particularidades que presenta Chile hicieron que la comparación más razonable sea, entonces, entre escuelas que se diferencian por un margen más estrecho (370 vs. 400 puntos) y de estudiantes cuyos progenitores completaron el ciclo secundario básico. En Perú encontramos 269 (4,4%) estudiantes cuyos padres o madres no habían superado la educación primaria. Como en Chile, no había estudiantes en escuelas con medias superiores a los 400 puntos que tuvieran 5 o más estudiantes de este estrato. A su vez, 42 (16,6%) alumnos/as asistían a escuelas que no superaban los 340. Al tomar el estrato superior (padres o madres con 6 p< 0,05 en todos los casos, salvo entre Brasil y Perú. 7Aún en el tercil de menores ingresos, para el 2018 casi el 90% de la población chilena entre los 35 y 49 años (probable edad de los padres o madres de estudiantes entre los 15 y 16 años) había completado el secundario básico, mientras en los demás países la proporción fluctuaba entre el 50 y 60 por ciento, salvo en Brasil donde se encontraba en torno al 45% (ver datos del SITEAL en https://siteal.iiep.unesco.org/indicadores). ¿Por qué varía el desempeño entre estudiantes de baja condición social? 11 secundaria básica terminada) encontramos 24 escuelas que congregaban a 209 (27,5%) estudiantes del sector que no superaban los 340 puntos. A su vez, sólo 3 escuelas que sumaban 17 (4%) estudiantes alcanzaban o superaban los 400 puntos promedio. Al reducir el límite a los 370 puntos, la cantidad de escuelas se incrementaba a 13 que congregaban a 93 alumnos/as (12,2% del estrato). De manera que en este caso también estrechamos el límite de la comparación (340 vs. 370 puntos), para incluir a más escuelas. Solo que, a diferencia de Chile, la necesidad de modificar los criterios en el caso de Perú no responde a la escasa proporción de la población sin acceso a la secundaria, sino a que muy pocos estudiantes del estrato logran desempeños relativamente altos en las pruebas. En síntesis, la comparación entre países revela que Chile y Uruguay se distinguen por que sus estudiantes logran mejores desempeños relativos, mientras que Argentina, Brasil y Perú se caracterizan por promedios más bajos. Colombia se encuentra en una situación particular. Forma parte de los tres países con puntaje promedio más alto a nivel agregado, pero está más cercano a la media de Brasil o Perú que se encuentran en cuarto lugar, que a la de Uruguay que está en el segundo. Sin embargo, en Colombia los/as estudiantes del estrato social de menores recursos alcanzan el puntaje promedio más alto, superando a los/as estudiantes de Chile y Uruguay del mismo sector. Es decir, en términos generales se encuentra cerca de los países de desempeños más bajos, pero los/as estudiantes del estrato que estudiamos alcanzan los desempeños relativos más altos. Por otra parte, si bien la posición de Chile podría resultar de la inclusión de estudiantes cuyos progenitores accedieron al nivel secundario, la comparación inicial se hizo sin incluir estudiantes de este estrato. De manera que incluso los/as estudiantes cuyos padres o madres no superaron el nivel primario alcanzan una media superior a las de Argentina, Brasil o Perú. A su vez, aún con la inclusión de padres o madres con acceso a la secundaria en Perú, el desempeño promedio sigue estando entre los más bajos. De forma tal que si bien no pueden obviarse las particularidades de estos dos países, los sesgos que introducen no parecen alterar sustantivamente su posición relativa respecto a los otros. Recursos Educativos En esta sección comparamos, inicialmente, la disponibilidad de recursos que distingue los hogares de los/as estudiantes que asisten a los distintos tipos de escuela. Posteriormente, examinamos los recursos existentes en las escuelas. En este último caso, tomamos en cuenta la disponibilidad de material educativo y la infraestructura escolar. En una sección posterior examinaremos algunas de las actitudes y prácticas de los/as docentes y estudiantes que pueden influir en los procesos de aprendizaje dentro del aula. Iniciaremos la sección examinando los recursos domésticos, para pasar luego a los escolares. Recursos en los Hogares En las pruebas PISA se indaga sobre una gran variedad de recursos disponibles en los hogares de los/as estudiantes. Dado el propósito de este estudio, nos concentramos en aquellos más directamente relacionados a la actividad escolar. La Tabla 1 indica que, en general, la proporción de los/as estudiantes que acceden a ellos en las escuelas con medias que no superan los 340 puntos es menor que en las escuelas con medias de 400 o más puntos. Si bien en casi todos los casos los resultados son estadísticamente significativos, conviene distinguir entre variables según la magnitud y consistencia de las diferencias.8 Algunas de ellas no revelan divergencias relevantes entre tipos de 8 Encontramos que el incremento de la cantidad de casos que resulta del uso del ponderador vuelve significativas diferencias muy pequeñas (incluso del inferiores al 5%). Por eso decidimos concentrarnos en el Archivos Analíticos de Políticas Educativas Vol. 31 No. 17 12 escuela en casi ninguno de los países (e.g. los/as estudiantes disponen de software educativo o libros para tareas escolares); otras presentan fluctuaciones de magnitudes importantes entre ellos (e.g. en ‘escritorios para estudio’ la diferencia es superior al 40% en Argentina y posee un sentido inverso en Chile). Finalmente, la disponibilidad de computadoras para las tareas escolares y las conexiones a internet son las que presentan contrastes más importantes y, sin ser totalmente homogéneas, mantienen magnitudes de cierta relevancia en las distintas naciones. Las mayores diferencias se encuentran en Argentina y Colombia; Brasil y Uruguay ocupan una posición intermedia, mientras Chile y Perú contienen las de menor magnitud. Tabla 1 Diferencias en la disponibilidad de recursos educativos en el hogar (en porcentaje de estudiantes por tipo de escuela) Escritorio para estudio Lugar tranquilo para estudiar Computa dora para tareas escolares Software educativo Conexión a internet Libros para tareas escolares Un diccionario Argentina 42,1** (0,005) 15** (0,005) 35,7** (0,005) 16,9** (0,005) 37,2** (0,005) 8,3** (0,006) 13,5** (0,004) Brasil 15** (0,003) 1,4** (0,002) 26** (0,002) 9,4** (0,002) 12,1** (0,002) 1,4** (0,002) 19,8** (0,002) Chile -8,8** (0,009) 3,1** (0,006) 10,9** (0,008) 4** (0,009) 10,2** (0,009) 6,4** (0,008) 10,9** (0,005) Colombia 26,3** (0,006) 10,1** (0,006) 34,2** (0,006) 8,4** (0,004) 35,2** (0,006) 10,1** (0,006) 11,3** (0,003) Perú 6,3* (0,062) 3,1** (0,006) 16,4** (0,005) 6,3** (0,004) 7,8** (0,006) 1,3* (0,007) 3,8** (0,002) Uruguay 18** (0,022) 16,2** (0,016) 13,2** (0,022) 3** (0,192) 25,8** (0,019) 7,4** (0,023) 4,7** (0,013) Promedio 19,8** (0,002) 8,3** (0,002) 27** (0,002) 7,7** (0,002) 15,8** (0,002) 4,3** (0,002) 17,5** (0,002) Fuente: elaboración propia en base a datos PISA 2018 (*p> 0,05; **p ≤ 0,05; error estándar entre paréntesis). Si bien no podemos profundizar en ello aquí, es importante notar que las razones detrás de estas variaciones pueden ser diversas. Por ejemplo, en el caso de Chile las diferencias resultan pequeñas porque la mayor parte de los/as estudiantes de ambos tipos de escuela accede a estos análisis de las variables que muestran diferencias de mayor magnitud y relativamente consistentes entre los distintos países. ¿Por qué varía el desempeño entre estudiantes de baja condición social? 13 recursos (condición que se mantiene aún entre estudiantes con progenitores que no superaron la educación primaria).9 En Perú la escasa diferencia se debe a que, aun incorporando a los/as estudiantes con progenitores que accedieron al secundario, la proporción que dispone de ellos es muy restringida.10 En Argentina, si bien la mitad o más de los/as estudiantes acceden a computadoras o internet, hay mucha variación entre los distintos tipos de escuela.11 Mientras en Colombia, aún con un acceso promedio limitado (aunque menos que en Perú), hay importantes diferencias entre los/as alumnos/as de escuelas con mayores y menores promedios.12 En suma, los resultados indican que aún entre estudiantes de similar condición social pueden existir variaciones en la composición de los recursos domésticos que se asocian a las diferencias en sus niveles de desempeño. Esto introduce un matiz frente a investigaciones precedentes que al comparar familias del mismo estrato asumieron que la totalidad de las diferencias se explicarían por factores intra-escolares. Recursos Escolares Además de la disponibilidad de recursos educativos en los hogares, las pruebas PISA contienen información sobre los recursos disponibles en las escuelas. La Tabla 2 muestra las diferencias en el puntaje promedio que le asignan los directores a la disponibilidad de recursos en los distintos tipos de establecimiento educativo. Los valores más altos implican mayores carencias, de manera que la Tabla 2 indica en cuánto superan las carencias en escuelas con medias más bajas a aquellas con las más altas. En términos generales se observan tendencias poco robustas y muy fluctuantes entre países. No obstante, hay tres condiciones que muestran diferencias promedio de magnitudes bastante superiores al resto. La carencia y baja calidad de la infraestructura escolar alcanzan los valores más elevados, mientras que falta de material educativo muestra diferencias más moderadas aunque comparativamente más altas que los demás tipos de recurso. 9Para los/as estudiantes cuyos padres o madres accedieron al secundario, el acceso a computadoras fue del 81,1% en las escuelas con promedios más altos y del 70,1% en las que alcanzan los más bajos. En lo que hace al acceso a internet, la diferencia es entre 73,5% y 63,3% respectivamente (entre los estudiantes con padres o madres que no superaron la primaria en promedio el acceso a computadoras ronda el 63%, y el 57% para internet). 10 En Perú la proporción de estudiantes con computadoras resultó del 12,9%, y con conexión a internet del 19,3%. El promedio descendía al 7 y 17 por ciento respectivamente en las escuelas con medias de hasta 340 y ascendía al 23 y 25 por ciento en las que alcanzaban o superaban los 400 puntos. 11 En promedio el 52,4% de los/as estudiantes dispone de computadoras y el 64,5% de conexión a internet, pero entre los/as estudiantes de mejor desempeño la proporción asciende al 74 y 87 por ciento respectivamente, mientras en los de menor en los de desempeño desciende al 38 y 49 por ciento. 12 En Colombia el acceso promedio es de 32,1% para computadoras y del 34,2% promedio para internet. No obstante entre los estudiantes con mejores promedios asciende al 46,6 y 48,7 por ciento respectivamente, y se reduce al 12,5 y 13,5 por ciento en las escuelas de menor desempeño. Archivos Analíticos de Políticas Educativas Vol. 31 No. 17 14 Tabla 2 Diferencias en la disponibilidad de recursos escolares Países Falta de personal docente Personal docente poco calificado Falta personal auxiliar Personal auxiliar poco calificado Falta material educativo Material educativo baja calidad Falta de infra- estructura edilicia Infra- estructura edilicia baja calidad Argentina 0,239* (0,439) 0,068* (0,290) 0,066* (0,394) 0,151* (0,307) 0,565* (0,310) -0,011* (0,314) 0,030* (0,363) 0,174* (0,365) Brasil -0,129* (0,208) 0,133* (0,241) -0,355* (0,295) 0,308* (0,266) -0,203* (0,300) 0,007* (0,289) 0,109* (0,341) -0,089* (0,328) Chile 0,210* (0,311) 0,401* (0,328) -0,074* (0,367) 0,185* (0,350) 0,433* (0,282) 0,393* (0,308) 0,417* (0,436) 0,222* (0,375) Colombia 0,098* (0,332) -0,644** (0,254) -0,174* (0,315) -0,098* (0,367) 0,530** (0,236) 0,102* (0,334) 0,761** (0,292) 0,886** (0,291) Perú -0,189* (0,255) -0,333* (0,304) 0,619* (0,407) -0,074* (0,335) 0,266* (0,307) 0,112** (0,289) 0,423* (0,381) 0,612* (0,348) Uruguay 0,00* (0,343) 0,018* (0,404) 0,161* (0,462) 0,018* (0,433) 0,250* (0,438) 0,036* (0,504) 0,429* (0,475) 0,214* (0,474) Promedio 0,038* (0,067) -0,059* (0,065) 0,040* (0,086) 0,081* (0,075) 0,306* (0,076) 0,106* (0,078) 0,361* (0,084) 0,336* (0,082) Fuente: elaboración propia en base a datos PISA 2018 (*p>0,05; **p ≤ 0,05; error estándar entre paréntesis). Además de las diferencias entre variables, encontramos también que hay diferencias entre países. Si consideramos las condiciones en las que se producen las diferencias más amplias, Colombia, Chile y Perú se destacan por presentar los mayores contrastes entre tipos de escuela. Incluso en Colombia las diferencias son estadísticamente significativas en los tres casos. En el otro extremo, Brasil presenta diferencias menores, mientras que Argentina y Uruguay solo muestran contrastes relevantes en algunas de estas condiciones (la falta de material educativo y de infraestructura edilicia respectivamente). Como en el caso de los recursos domésticos, estas diferencias se producen en condiciones distintas. En Colombia o Perú la mayor parte de las escuelas presentan carencias de este tipo (entre el 70 y 80 por ciento en ambos países). El contraste surge por una pequeña minoría de escuelas que no experimenta estas carencias y que se distingue de una mayoría que sí lo hace. En Chile la situación es inversa. Las escuelas que experimentan carencias son una minoría (entre el 20 y el 30 por ciento). El contraste expresa la existencia de un conjunto pequeño de escuelas que se encuentra en desventaja respecto al resto. En los otros tres países (Argentina, Brasil y Uruguay) aproximadamente la mitad de las escuelas accede a los recursos. En el caso de Brasil esto no implica variaciones sustantivas entre tipo de escuelas, mientras que en Argentina pese a que en promedio la mitad de las escuelas accede a material educativo, este parece estar bastante desigualmente ¿Por qué varía el desempeño entre estudiantes de baja condición social? 15 distribuido entre tipo de escuelas (las que logran promedios más altos tienen mayor acceso a él). En Uruguay la situación parece similar respecto a la infraestructura edilicia. Estas tendencias resultan en parte compatibles con lo hallado en investigaciones previas que no encontraban relaciones consistentes entre el desempeño y los recursos escolares, como la cantidad y calificación de los recursos docentes. No obstante encontramos que existen importantes variaciones según el tipo de recurso considerado y el contexto de que se trate. En este caso, los mayores contrastes parecen darse en relación a la infraestructura escolar, y particularmente en contextos, como los de Colombia o Chile en los que ya sea la carencia de recursos o su abundancia se concentra en un conjunto limitado de establecimientos que contrasta con el resto. La falta de significación estadística de la mayoría de las diferencias puede poner en duda estos resultados. Sin embargo, no es claro si esta resulta de su irrelevancia o del restringido tamaño de la muestra. Al no contar con ponderadores para estos datos no podemos saldar esta dificultad. Sin embargo, no debe olvidarse que los coeficientes de significación estadística estiman la probabilidad de que la asociación encontrada resulte del azar en vez de una verdadera relación entre variables. Entonces, si bien no podemos tener certeza sobre la validez de estos resultados, hay algo que no se debe pasar por alto. Aun sin resultar estadísticamente robustas, al menos en algunas de las variables donde las diferencias alcanzan magnitudes más amplias la probabilidad de que resulten del azar es inferior a que no lo hagan.13 Actitudes y Prácticas Relacionadas al Aprendizaje Otro factor institucional medido en las encuestas, tanto en el cuestionario a directores como a estudiantes, son las actitudes y prácticas de docentes y alumnos/as relacionadas al aprendizaje. Como en el caso de los recursos escolares, la medición se lleva a cabo a partir de un conjunto de preguntas sobre las prácticas y conductas de estudiantes y docentes dentro del aula. Las respuestas se desagregan en una escala de Lickert de cuatro puntos que establece la frecuencia con que éstas ocurren (1.- todas las clases; 2.- la mayoría de las clases; 3.- algunas clases; 4.- nunca o casi nunca). Analizamos inicialmente las variaciones en las percepciones estudiantiles y expondremos luego la percepción de los/as directores/as. Percepciones de los/las Estudiantes La Tabla 3 indica la percepción que tienen los/as estudiantes de las actitudes y prácticas de alumnos/as y docentes frente al aprendizaje. En las variables que estiman las conductas estudiantiles, los valores negativos indican menor frecuencia de acciones disruptivas en escuelas con medias iguales o superiores a 400 puntos. Las mayores diferencias se producen en tres variables: ‘los estudiantes no escuchan al docente’, este debe ‘esperar para iniciar la clase y ‘los estudiantes no pueden trabajar bien’. En el caso de actitudes y prácticas docentes el signo negativo señala una particularidad. Los/as estudiantes de las escuelas con promedios más altos perciben que sus docentes tienen actitudes favorables a su aprendizaje menos frecuentemente que los/as estudiantes que asisten a escuelas donde logran medias más bajas. Entre estas variables se destacan: ‘presentar síntesis de las clases anteriores’ o indicar ‘qué es lo que los/as estudiantes deben aprender’. 13Además de que en Colombia encontramos diferencias significativas en las variables más relevantes, en los casos en los que las diferencias eran de mayor magnitud, como la falta de la infraestructura edilicia en Chile, Perú o Uruguay, el valor de p sugería que la probabilidad de que las diferencias fueran producto del azar era menor a que fueran genuinas (rondaban o eran menores al 35%: p=0,34 para Chile; p=0,27 en Perú y p=0,37 en Uruguay). Algo similar ocurre con la falta de material educativo en Argentina (p=0,07) o Chile (p=0,13). Archivos Analíticos de Políticas Educativas Vol. 31 No. 17 16 Tabla 3 Diferencias en las actitudes y prácticas frente al aprendizaje (percepción de los estudiantes) Países Actitudes y prácticas estudiantiles Actitudes y prácticas docentes No escuchan al docente Hay ruido y desorden El docente debe esperar para iniciar la clase Los estudiantes no pueden trabajar bien Estudiantes comienzan a trabajar tarde Docente muestra interés en el aprendizaje de cada estudiante Ayuda extra cuando los estudiantes lo necesitan Docente ayuda a los estudiantes con sus aprendizajes Docente sigue explicando hasta que los estudiantes entienden Docente establece metas de aprendizaje claras Docente repregunta para ver si los estudiantes comprendieron Docente presenta un breve resumen de la clase anterior Docente indica qué es lo que deben aprender Argentina -0,153** (0,011) 0,040** (0,011) -0,042** (0,012) -0,164** (0,011) -0,185** (0,011) -0,087** (0,008) -0,042** (0,010) 0,108** (0,009) 0,062** (0,010) -0,102** (0,010) -0,284** (0,009) -0,495** (0,012) -0,220** (0,009) Brasil -0,392** (0,005) 0,306** (0,005) -0,160** (0,005) -0,295** (0,005) -0,229** (0,006) -0,033** (0,004) 0,017** (0,005) -0,040** (0,004) -0,012** (0,005) -0,020** (0,004) -0,152** (0,005) -0,328** (0,006) -0,050** (0,005) Chile -0,201** (0,015) -0,127** (0,017) -0,364** (0,019) -0,244** (0,016) -0,178** (0,017) 0,107** (0,014) 0,169** (0,015) 0,057** (0,013) -0,030** (0,014) 0,002* (0,012) 0,027** (0,013) -0,078** (0,019) 0,083** (0,014) Colombia 0,012* (0,009) 0,163** (0,011) 0,146** (0,012) -0,128** (0,011) 0,072** (0,012) 0,012* (0,010) 0,081** (0,012) -0,002** (0,010) -0,117** (0,011) -0,089** (0,011) -0,136** (0,010) -0,547** (0,013) -0,238** (0,011) Perú 0,112** (0,009) -0,003* (0,011) 0,026** (0,010) 0,085** (0,009) 0,059** (0,010) -0,065** (0,012) 0,035** (0,013) -0,120** (0,012) 0,046** (0,012) -0,197** (0,012) 0,126** (0,011) 0,045** (0,015) -0,031** (0,014) Uruguay -0,149** (0,036) 0,002* (0,043) -0,291** (0,045) -0,335** (0,037) 0,014* (0,041) -0,133** (0,039) -0,175** (0,044) -0,141** (0,037) -0,034* (0,040) -0,094** (0,039) -0,035* (0,039) 0,099** (0,050) -0,452** (0,044) Promedio -0,128** (0,004) 0,063** (0,004) -0,114** (0,004) -0,180** (0,004) -0,0745** (0,004) -0,033** (0,004) 0,014** (0,004) -0,023** (0,005) -0,014** (0,004) -0,083** (0,004) -0,075** (0,006) -0,217** (0,008) -0,151** (0,006) Fuente: elaboración propia en base a datos PISA 2018 (*p>0,05; **p ≤ 0,05; error estándar entre paréntesis). La comparación entre países revela matices importantes. Las percepciones de las actitudes estudiantiles que mostraron los mayores contrastes entre tipos de escuela alcanzan las diferencias de mayor magnitud en Brasil, Chile y Uruguay. En cambio, en Colombia los valores son más bajos, e incluso en algunas variables tiene sentido inverso al promedio (muestran mayor frecuencia en escuelas con medias más altas). En Perú también encontramos valores bajos e incluso de sentido inverso en muchas variables, mientras que en Argentina tienen una magnitud intermedia. ¿Por qué varía el desempeño entre estudiantes de baja condición social? 17 En el caso de las actitudes y prácticas docentes la magnitud de las diferencias entre escuelas también difiere entre los distintos países. Las variables en las que se producen las mayores diferencias (la frecuencia con que el docente presenta síntesis de las clases anteriores y la frecuencia con que el profesor/a explicita lo que debe aprenderse) presentan contrastes más amplios en Argentina y Colombia. En Brasil y Uruguay la tendencia es menos consistente. Las diferencias son importantes en una variable pero no en la otra. Chile y Perú muestran los menores contrastes incluso, a veces, de sentido inverso. Resulta difícil presentar una explicación definitiva de las divergencias entre países. En lo que respecta a las actitudes de los/as estudiantes notamos que las naciones donde los contrastes son más amplios, como Chile. Brasil y Uruguay, es mayor la proporción de estudiantes en las escuelas de promedios más bajos que perciben climas poco armoniosos en sus aulas. En cambio en los países, como Colombia o Perú, donde la diferencia entre escuelas es más pequeña, esa proporción también es menor.14 Es decir que la magnitud de las diferencias parece estar vinculada a la capacidad de cada sistema educativo de limitar los climas conflictivos en los establecimientos educativos a los que asisten estudiantes con mayores carencias. En el caso de las actitudes y prácticas docentes no encontramos patrones consistentes que diferencien las percepciones estudiantiles entre tipos de escuela. En los países en los que las variables mostraban mayores contrastes, como Argentina y Colombia, la proporción de estudiantes que percibía a estas prácticas como habituales (aproximadamente entre el 50 y el 80 por ciento según la variable) no difería sustantivamente de aquellos en los que las diferencias eran menores como Chile o Perú. De manera que no podemos aventurar una explicación de los contrastes en estas variables, más allá de suponer que resultan de su asociación con características de los sistemas educativos de cada país que no fueron medidas en la encuesta. No obstante esta limitación, los matices que hallamos permiten comparaciones interesantes respecto a los resultados de investigaciones anteriores. Por un lado, al mantener desagregadas las variables del ‘clima escolar’, encontramos que si bien las actitudes y prácticas estudiantiles pueden estar asociadas al desempeño, existen importantes variaciones según el tipo que se considere. Leves matices en la manera de definirlas o presentarlas pueden implicar diferencias importantes en los grados de asociación. Por otro lado, al examinar las actitudes y prácticas docentes llegamos a resultados que no encontramos en investigaciones previas. Identificamos prácticas docentes que son percibidas como más frecuentes entre los/as estudiantes que asisten a escuelas donde alcanzan menores desempeños. No podemos desarrollar una explicación exhaustiva de esta particularidad aquí, pero más plausible que asumir que esas prácticas generan menores logros, parece la alternativa de que los/as estudiantes que encuentran mayores dificultades perciben a su vez mayores esfuerzos de sus docentes. Percepciones de los Directores Finalmente, en la Tabla 4 se presentan estimaciones de la posible variación del desempeño en función de la percepción de los directores de las características de sus escuelas . Debido a que los valores más bajos representan menor frecuencia, en las variables que miden las actitudes estudiantiles las diferencias de signo positivo implican que las actitudes disruptivas son más frecuentes en escuelas con medias iguales o inferiores a los 340 puntos. En las variables que miden las actitudes y prácticas docentes, las diferencias de signo negativo implican menor frecuencia de prácticas desfavorables al aprendizaje en este tipo de escuela. 14 En estos dos países el promedio fluctúa entre el 10 y el 20 por ciento, mientras que oscila entre el 35 y el 50 por ciento en los demás. Archivos Analíticos de Políticas Educativas Vol. 31 No. 17 18 Dado que se basan en una cantidad restringida de casos, en general, las diferencias no son estadísticamente confiables. No obstante esta limitación, en lo que hace a las actitudes y prácticas estudiantiles, la tendencia general es que los/as directores/as perciban que las actitudes disruptivas son más comunes en las escuelas con promedios más bajos. La tendencia se verifica en la mayoría de los países, pero las principales diferencias se encuentran en Uruguay, Perú y Chile. En estos tres casos la mayor parte de las variables toman magnitudes que superan en más del 60% al promedio general. En Argentina encontramos una tendencia similar en dos variables: ‘escapar’ y ‘falta de atención’ en clase. En contrapartida, Brasil y Colombia presentan diferencias por debajo del promedio y en varios casosde sentido inverso a él. Si bien la falta de significación estadística nuevamente arroja dudas sobre la robustez de estos resultados, no conviene descartarlos apresuradamente. Tal como ocurría con los recursos escolares, encontramos que, aún sin cumplir con el criterio de significación estadística, la probabilidad de que algunas de las diferencias de mayor magnitud se den por azar es menor a que no lo hagan. Esto ocurre, por ejemplo, en Uruguay y Perú con variables como ‘escapar de clases’, la ‘falta de respeto a los docentes’ y el ‘bullying’. En todos estos casos la probabilidad de que las diferencias resulten del azar no supera el 30%, y en varios apenas esta 4 o 5 puntos porcentuales por sobre el criterio de significación estadística.15 Algo similar ocurre con escapar de clases en Chile (p=0,199) o la falta de atención en clases en Argentina (p=0,032) que es incluso estadísticamente significativa. En lo que respecta a la percepción de las actitudes y prácticas docentes encontramos tendencias menos claras. El valor negativo en la mayoría de las variables sugiere que los directores perciben que las actitudes docentes desfavorables al aprendizaje son menos frecuentes en escuelas con promedios inferiores a los 340 puntos. No obstante, además de que la gran mayoría de las diferencias no son significativas, muchas de ellas son de pequeña magnitud. Solo en Perú se observa que en la mayoría de las variables (salvo una) las diferencias son marcadamente superiores al promedio, y en dos de ellas (el ausentismo docente y no preparar las clases) alcanzan la significación estadística. A diferencia de Perú, en Argentina, Brasil, Colombia y Uruguay la percepción de los directores no varía demasiado entre escuelas. Las excepciones serían los docentes ‘no responden a las necesidades de los estudiantes’ o ‘son demasiado rígidos’ en Colombia. Chile se destaca por presentar diferencias de magnitudes comparativamente altas en algunas variables, aunque de sentido inverso. El ausentismo docente y la falta de preparación de las clases son percibidas como más comunes en escuelas con menores promedios. En suma, las percepciones sobre las actitudes y prácticas docentes desfavorables al aprendizaje parecen tener una frecuencia menor en escuelas con menores promedios. No obstante, en general, las diferencias son de pequeña magnitud (salvo en Perú), y además de no resultar significativas, en la mayoría de los casos no se diferencian sustantivamente de las que podrían darse por azar.16 15 En Uruguay solo escapar de clases (p=0,260) tomaba un valor superior el 25%, mientras que en la falta de respeto a los docentes (p=0,076) y el bullying (p=0,082) apenas superaban el criterio de significación estadística. En Perú los valores eran p=0,230; p=0,168 y p=0,109 respectivamente. 16 Solo en ‘los docentes no responden a las necesidades de los estudiantes’ en Colombia (p=0,078) la probabilidad de que la diferencia resulte del azar resultó muy pequeña, en el resto de los casos es superior el 50%. ¿Por qué varía el desempeño entre estudiantes de baja condición social? 19 Tabla 4 Diferencias en las actitudes y prácticas frente al aprendizaje (percepción de los directores) País Actitudes y prácticas estudiantiles Actitudes y prácticas docentes Escapar de clases Faltar a clase Falta de respeto a docentes Uso drogas ilegales o alcohol Bullying entre estudiantes Falta de atención en clases Docentes no responden a las necesidades de los estudiantes Ausentismo docente Resistencia al cambio Demasiado estrictos No preparan las clases Argentina 0,203* (0,122) 0,087* (0,163) 0,033* (0,147) -0,029* (0,153) 0,069* (0,113) 0,304** (0,139) -0,083* (0,164) -0,141* (0,157) 0,062* (0,164) -0,050* (0,135) 0,017* (0,146) Brasil -0,007* (0,141) 0,030* (0,140) -0,081* (0,144) -0,030* (0,140) -0,005* (0,122) -0,111* (0,068) -0,044* (0,143) -0,047* (0,145) -0,109* (0,145) -0,005* (0,122) -0,047* (0,145) Chile 0,333* (0,225) 0,259* (0,309) 0,180* (0,305) 0,148* (0,248) 0,037* (0,238) 0,259* (0,282) -0,111* (0,287) 0,566* (0,329) 0,037* (0,282) -0,037* (0,270) 0,185* (0,358) Colombia -0,072* (0,174) 0,080* (0,183) 0,064* (0,157) -0,027* (0,150) 0,106* (0,149) -0,182** (0,081) -0,318* (0,175) -0,027* (0,150) -0,129* (0,185) -0,284* (0,162) 0,057* (0,151) Perú 0,583** (0,246) 0,058* (0,195) 0,372* (0,264) 0,163* (0,302) 0,462* (0,281) 0,128* (0,288) -0,054* (0,245) -0,510** (0,245) -0,381* (0,290)8 -0,285* (0,302) -0,647** (0,248) Uruguay 0,232* (0,200) 0,268* (0,224) 0,357* (0,191) -0,018* (0,159) 0,304* (0,166) 0,214* (0,152) 0,125* (0,230) 0,054* (0,228) -0,071* (0,231) 0,036* (0,195) 0,089* (0,216) Promedio 0,144* (0,070) 0,103* (0,077) 0,154* (0,074) 0,003* (0,069) 0,162* (0,60) 0,102* (0,055) -0,080* (0,078) -0,021* (0,077) -0,098* (0,077) -0,104* (0,066) -0,057* (0,072) Fuente: elaboración propia en base a datos PISA 2018 (*p>0,05; **p ≤ 0,05; error estándar entre paréntesis. Archivos Analíticos de Políticas Educativas Vol. 31 No. 17 20 Consideraciones Finales El análisis de los factores asociados al desempeño de las/os estudiantes de menores recursos sugiere un vínculo complejo. Encontramos que algunos sostienen una relación bastante estrecha y consistente con el desempeño y que otros mantienen una relación más fluctuante o se asocian muy débilmente con él. Pero además confirmamos que las formas y grados de asociación varían según los contextos. Si bien el carácter exploratorio de este estudio no permite arribar a conclusiones definitivas, contribuye a discernir esta variedad de tendencias para el nivel secundario que no ha sido tan frecuentemente explorado en Latinoamérica. En ciertos casos los resultados son compatibles con lo encontrado en estudios previos y en otros abren interrogantes que merecen mayor investigación. Un resultado que introduce matices respecto a la investigación precedente es que aún entre familias de similar condición social existen diferencias en el tipo de recurso disponibles en el hogar. Al plantear comparaciones entre estudiantes del mismo estrato, en general las investigaciones previas han supuesto que las diferencias en el desempeño se deben primordialmente a factores intra- escolares. Sin embargo, encontramos que los/as estudiantes que asisten a escuelas que alcanzan promedios más altos se diferencian por disponer en mayor proporción de recursos educativos en sus hogares, sobre todo computadoras y conexiones a internet. Aunque no podemos proveer pruebas definitivas, esto no sugiere solo una posible asociación entre este tipo de recurso y el desempeño. Esa composición de los recursos domésticos en contextos de similares carencias relativas podría tener implicancias respecto a las percepciones subjetivas del valor de la educación. Es decir, que independientemente de las carencias en algunas familias hay una mayor valoración de los recursos educativos que en otras. Y que ese mismo factor haya incidido en la elección de escuelas donde los/as estudiantes logran mejores desempeños. El análisis de los recursos disponibles en las escuelas también derivó en resultados sugerentes. Desde un inicio, los estudios sobre las condiciones asociadas al desempeño escolar asumieron que la disponibilidad de recursos educativos e infraestructura edilicia se asociarían a la variación en los niveles de logro entre escuelas. La mayor cantidad de recursos enriquecería los procesos de aprendizaje, y una infraestructura adecuada facilitaría climas armónicos de trabajo. No obstante, tempranamente las investigaciones indicaron que los recursos educativos y la infraestructura escolar no distinguen consistentemente a los establecimientos educativos de mayor y menor desempeño. Aunque en términos generales nuestros datos confirmaron estas tendencias, encontramos que esto no es igual para todos los contextos. Si bien no logramos una explicación exhaustiva, la comparación entre países sugiere que las diferencias se manifiestan en tres situaciones paradigmáticas. Casos, como el de Colombia o Perú, donde la mayoría de las escuelas experimenta carencias, y un muy pequeño conjunto de ellas con menores carencias se caracteriza por alcanzar mejores promedios. Casos inversos, como el de Chile, donde la mayoría de las escuelas cuenta con recursos y una minoría que alcanza promedios comparativamente bajos carece de ellos. Y una tercera situación, como la de Argentina o Uruguay, donde las diferencias se concentran en algún tipo de recurso específico que se distribuye muy desigualmente entre las escuelas que alcanzan mayores o menores promedios. Otra de las premisas que ha permeado las investigaciones en el área es que el ‘clima escolar’ ordenado se asocia a los niveles de desempeño. La tesis predominante es que las disrupciones frecuentes del proceso de enseñanza-aprendizaje van en detrimento de los niveles de logro. En coincidencia con estas posiciones, encontramos que tanto estudiantes como directores perciben que las prácticas y actitudes disruptivas de la actividad escolar son más frecuentes en las escuelas de medias más bajas. No obstante esta coincidencia con los estudios realizados en América Latina y otras regiones, al mantener desagregados los componentes del clima escolar encontramos matices. ¿Por qué varía el desempeño entre estudiantes de baja condición social? 21 Incluso leves diferencias en la manera de definirlos modifican el grado de asociación que mantienen con el desempeño en distintos contextos. La interrogante que surge entonces es cuál es la composición del clima escolar que más se asocia al desempeño, y cómo varia esta composición en situaciones diferentes. En este plano, otro resultado llamativo es que tanto en las percepciones estudiantiles, como en las de los/as directores/as (aunque menos consistentemente), las prácticas y actitudes docentes se vinculan al desempeño en un sentido inverso al esperado. Si el supuesto predominante es que las prácticas docentes más favorables al aprendizaje se producirían en las escuelas con medias más altas, los/as estudiantes las percibían como más comunes en las escuelas con medias más bajas. Y mientras otro supuesto razonable sería que los directores percibirían como más frecuentes a las prácticas y actitudes docentes desfavorables al aprendizaje en escuelas con medias más bajas, esto lo hacían en escuelas con medias iguales o superiores a 400 puntos. Aunque no podemos más que conjeturar una explicación de esta tendencia, es posible que en las escuelas con promedios más bajos, tanto estudiantes como directores, perciban un mayor acompañamiento docente. Pese (o, tal vez, debido) a las dificultades que encuentran los/as alumnos/as para lograr buenos desempeños en ellas. Finalmente, estos resultados sugieren algo adicional. Si bien examinamos cada conjunto de factores por separado, en rigor estos caracterizan al mismo tipo de escuela. Por ejemplo, en las escuelas en las que los/as estudiantes alcanzan medias más altas, confluyen alumnos/as que disponen de mayores recursos educativos en sus hogares y que asumen con menor frecuencia actitudes disruptivas en sus clases. Esto sugiere que más que intervenir individualmente, cada una de estas condiciones conforma un contexto a partir de su interrelación con otras. Si bien no podemos profundizar en ello aquí, esto confirma la necesidad de avanzar en modelos teóricos que den cuenta de esta interrelación (por ejemplo, como se articulan las diferencias en las características familiares, con aquellas que distinguen a las escuelas distintos niveles de desempeño). Pero, asociado a ello, también implica la conveniencia de refinar los modelos explicativos. Entre otras cosas, incluir alternativas que permitan concebir modalidades sistemáticas o funcionales de relación entre factores en lugar de suponer siempre formas de incidencia de tipo independiente y nomológica. Si bien estamos muy lejos de resolver esa cuestión aquí, la interpretación cuidadosa de la significación estadística que propusimos intenta dar un paso en ese sentido, evitando descartar condiciones que tal vez se articulen de maneras complejas a las variaciones en el desempeño. Referencias Barbosa, M. E. F, & Fernandes, C. (2001). A escala brasileira faz diferencia? Uma investigacáo dos efeitos da escola na proficiencia em Matemática dos alunos da 4a série. En: C. Franco (Org.), Promofáo, ciclos e avaliafáo na educafáo. ArtMed. Bellei, C. (Comp.). (2015). Nadie dijo que era fácil: Escuelas efectivas en sectores de pobreza, diez años después. LOM Ediciones. Bellei, C., Muño, G., & Raczynski, D. (2004) ¿Quién dijo que no se puede? Escuelas efectivas en sectores de pobreza. Unicef. Bertschy, K., Cattaneo, A., & Wolter, S. (2008) What happened to the PISA 2000 participants five years later? [IZA Discussion Paper Series 3323]. Institute for the Study of Labor. Campbell, R.., Kyriakides, L., Muijs, R., & Robinson, W. (2004). Effective teaching and values: Some implications for research and teacher appraisal. Oxford Review of Education, 30(4), 451-465. https://doi.org/10.1080/0305498042000303955 https://doi.org/10.1080/0305498042000303955 Archivos Analíticos de Políticas Educativas Vol. 31 No. 17 22 Casassus, J. (2001) Primer estudio internacional comparativo sobre lenguaje, matemática y factores asociados para alumnos de tercer y cuarto grado de la educación básica. Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación. Carabaña, J. (2015). La inutilidad de PISA para las escuelas. La Catarata. Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Academic Press. Cueto, S., Ramirez, C., & León, J. (2003). Eficacia escolar en escuelas polidocentes completas de Lima y Ayacucho. Consorcio de Investigación Económica y Social. Downey, D., & Condron, D. (2016). Fifty years since the Coleman Report: Rethinking the relationship between schools and inequality. Sociology of Education, 89(3), 207–220. https://doi.org/10.1177/0038040716651676 Edmonds, R. (1979). Effective schools for the urban poor. Educational Leadership, 37, 15-24. Flores Mendoza, C., Ardila, R.., Gallegos, M., & Reategui-Colaesta, N. (2021) General intelligence and socioeconomic status as strong predictors of student performance in Latin American schools: Evidence from PISA items. Frontiers in Education, 6, 1-16. https://doi.org/10.3389/feduc.2021.632289 Franco, C., Mandarino, M., & Ortigáo, 1. (2001). Plano de escola, eficácia escolar e equidade. Puc-Rio. Ganzeboom H., & Treiman D. (2003). Three internationally standardised measures for comparative research on occupational status. En: J. Hoffmeyer-Zlotnik & C. Wolf (Eds.), Advances in cross-national comparison (pp. 83-101). Springer. https://doi.org/10.1007/978-1-4419-9186-7_9 Krüger, N. (2019). La segregación por nivel socioeconómico como dimensión de la exclusión educativa: 15 años de evolución en América Latina. Archivos Analíticos de Políticas Educativas 27(8), 1-34, https://doi.org/10.14507/epaa.27.3577 Kyricakides, L., & Creemers, B. (2008). The effects of teacher factors on different outcomes: Two studies testing the validity of the dynamic model. Effective Education, 1(1), 61-85, 2008. http://dx.doi.org/10.14507/epaa.27.3577. Kyriakides, L., Christoforou, C., & Charalambos Y. (2013). What matters for student learning outcomes: A meta-analysis of studies exploring factors of effective teaching, Teaching and Teacher Education. 36, 143-152. https://doi.org/10.1016/j.tate.2013.07.010 Mace-Matluck, B. (1987). The effective schools movement: Its history and context. Southwest Educational Development Lab. Martínez García, J. (2016). La inutilidad de PISA para las escuelas. Revista Española de Sociología, 25(1), 153-156. Merton, R. K. (1968). Social theory and social structure. The Free Press. Meyer, H., & Benavot, A. (2013). PISA, power, and policy: The emergence of global educational governance. Symposium Books. https://doi.org/10.15730/books.85 Molina Arias, M. (2017). ¿Qué significa el valor de p? Revista Pediátrica de Atención Primaria, 19, 377- 381. Murillo, J. (Coord.). (2003) La investigación sobre eficacia escolar en Iberoamérica. Revisión internacional del estado del arte. Centro de Investigación y Documentación Educativa. Murnane, R. J. (1981). Interpreting the evidence on school effectiveness. Teachers College Record, 83(1), 19-35. https://doi.org/10.1177/016146818108300106 Neufeld, B. (1983). A review of effective schools research: The message for secondary schools. National Commission on Excellence in Education. OCDE. (2015). PISA 2015 technical report. https://www.oecd.org/pisa/data/pisa2015technicalreport OCDE. (2016). Sampling in PISA. [Paper presentation]. First Meeting of the PISA 2018 National Project Managers, Marzo 14–18. https://doi.org/10.1177/0038040716651676 https://doi.org/10.3389/feduc.2021.632289 https://doi.org/10.1007/978-1-4419-9186-7_9 https://doi.org/10.14507/epaa.27.3577 http://dx.doi.org/10.14507/epaa.27.3577 https://doi.org/10.1016/j.tate.2013.07.010 https://doi.org/10.15730/books.85 https://doi.org/10.1177/016146818108300106 ¿Por qué varía el desempeño entre estudiantes de baja condición social? 23 OCDE. (2018). PISA 2018 technical report. Organization for Economic Cooperation and Development https://www.oecd.org/pisa/data/pisa2018technicalreport Pereyra, M., Kotthoff, H., & Cowen, R. (2013). PISA a examen: cambiando el conocimiento, cambiando las pruebas y cambiando las escuelas. Introducción al monográfico. Profesorado. Revista de Currículum y Formación de Profesorado, 17(2), 6-14 Piñeros, L., & Rodríguez Pinzón, A. (1998). Los insumos escolares en la educación secundaria y su efecto sobre el rendimiento académico de los estudiantes: Un estudio en Colombia. Banco Mundial, Oficina Regional Para América Latina y el Caribe. Purkey, S., & Smith, M. (1982). Effective schools. A review. National Institute of Education. Reynols, D., Sammons, P., De Fraine, B., & Van Damme, J. (2014). Educational effectiveness research (EER): A state-of-the-art review. School Effectiveness and School Improvement, 25(2), 197-230. https://doi.org/10.1080/09243453.2014.885450 Rivas, A. (2015). América Latina después de PISA. Centro de Implementación de Políticas Públicas para la Equidad y el Crecimiento. https://www.cippec.org/publicacion/america-latina- despues-de-pisa-lecciones-aprendidas-de-la-educacion-en-siete-paises-2000-2015/ Sammons, P., Hillman, J., & Mortimore, P. (1995). Key characteristics of of effective schools. A review of school effectiveness research. Instituto de Educación de la Universidad de Londres. Sammons, P., & Bakkum, L. (2011) Effective schools, equity and teacher efficacy: A review of the literature. Revista de Curriculum y Formacion del Profesorado, 15(3), 9-26. Scheerens, J., & Cramers, B. (1989). Conceptualizing school effectiveness. International Journal of Educational Research, 13(7), 691-706. https://doi.org/10.1016/0883-0355(89)90022-0 Scheerens, J., Witziers, B., & Steen, R. (2013) Un metaanálisis de estudios de eficacia escolar. Revista de Educación, 3(61), 619-645. Slavin, R. (1994). Effective classrooms, effective schools: A research base for reform in Latin American education. In: J. Puryear & J. Brunner (Orgs.), Education, equity and economic competitiveness in the Américas. An inter-American dialogue project. (pp. 7-29). OEA. Soares, J., Cesar, E., & Mambrini, J. (2001) Determinantes de desempenho dos alunos do ensino básico brasileiro: Evidencias do SAEB de 1997. En: E.. Franco (Org.), Promoçao, ciclos e avaliaçao educacional (pp. 121-153). ArtMed Editora. Sullivan, G., & Feinn, R. (2012). Using effect size—or why the p value is not enough. Journal of Graduate Medicine Educatioin, 4(3), 279–282. https://doi.org/10.4300/JGME-D-12-00156.1 Treviño, E., Valdés, H., Castro, M., Costilla, R., Pardo, C., & Rivas Donoso, F. (2010). Factores asociados al logro cognitivo de los estudiantes de América Latina. Laboratorio Latinoamericano de Evaluación de la Calidad Educativa. Sobre el Autor Daniel Pedro Míguez Instituto de Geografía, Historia y Ciencias Sociales, Universidad Nacional del Centro de la Provincia de Buenos Aires dpmiguez@fch.unicen.edu.ar https://orcid.org/0000-0001-7366-0219 Licenciado en Sociología por la Universidad de Buenos Aires (1988) y Doctor en Antropología y Sociología del Desarrollo por la Universidad Libre de Amsterdam (1997). Actualmente se desempeña como investigador principal del Consejo Nacional de Investigaciones Científicas y Técnicas, y profesor titular ordinario de la Facultad de Ciencias Humanas de la Universidad Nacional del Centro de la Provincia de Buenos Aires. https://www.oecd.org/pisa/data/pisa2018technicalreport https://doi.org/10.1080/09243453.2014.885450 https://www.cippec.org/publicacion/america-latina-despues-de-pisa-lecciones-aprendidas-de-la-educacion-en-siete-paises-2000-2015/ https://www.cippec.org/publicacion/america-latina-despues-de-pisa-lecciones-aprendidas-de-la-educacion-en-siete-paises-2000-2015/ https://www.sciencedirect.com/science/journal/08830355 https://www.sciencedirect.com/science/journal/08830355 https://www.sciencedirect.com/science/journal/08830355/13/7 https://doi.org/10.1016/0883-0355(89)90022-0 https://doi.org/10.4300/JGME-D-12-00156.1 https://orcid.org/0000-0001-7366-0219?lang=en Archivos Analíticos de Políticas Educativas Vol. 31 No. 17 24 archivos analíticos de políticas educativas Volumen 31 Número 17 21 de febrero 2023 ISSN 1068-2341 Los/as lectores/as pueden copiar, mostrar, distribuir, y adaptar este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, los cambios se identifican y la misma licencia se aplica al trabajo derivada. Más detalles de la licencia de Creative Commons se encuentran en https://creativecommons.org/licenses/by-sa/4.0/. Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. La sección en español para Sud América de AAPE/EPAA es publicada por el Mary Lou Fulton Teachers College, Arizona State University y la Universidad de San Andrés de Argentina. Los artículos que aparecen en AAPE son indexados en CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). Sobre el consejo editorial: https://epaa.asu.edu/ojs/index.php/epaa/about/editorialTeam Por errores y sugerencias contacte a Fischman@asu.edu Síganos en EPAA’s Facebook comunidad at https://www.facebook.com/EPAAAAPE y en Twitter feed @epaa_aape. https://creativecommons.org/licenses/by-sa/4.0/ http://www.doaj.org/ http://www.doaj.org/ https://epaa.asu.edu/ojs/index.php/epaa/about/editorialTeam https://www.facebook.com/EPAAAAPE