Estudio multinivel sobre las variables explicativas de los resultados de México en PISA 2015 Página web: http://epaa.asu.edu/ojs/ Artículo recibido: 3-28-2019 Facebook: /EPAAA Revisiones recibidas: 8-20-2019 Twitter: @epaa_aape Aceptado: 30-9-2019 archivos analíticos de políticas educativas Revista académica evaluada por pares, independiente, de acceso abierto y multilingüe Universidad de San Andrés y Arizona State University Volumen 28 Número 26 17 de febrero 2020 ISSN 1068-2341 Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 20151 Alicia Alelí Chaparro Caso López Universidad Autónoma de Baja California México & Adriana Gamazo Universidad de Salamanca España Citación: Chaparro Caso López, A. A., & Gamazo, A. (2020). Estudio multinivel sobre las variables explicativas de los resultados de México en PISA 2015. Archivos Analíticos de Políticas Educativas, 28(26). https://doi.org/10.14507/epaa.28.4620 Resumen: En el presente estudio se propuso analizar qué factores contextuales de los estudiantes y las escuelas tienen una relación significativa con el logro en las tres competencias evaluadas por PISA 2015 (Lectura, Matemáticas y Ciencias) en México. A través de modelos multinivel, se analizaron los resultados de más de 6 700 estudiantes repartidos en 189 escuelas, y se comprobó que los factores con un impacto más alto son el nivel socioeconómico medio de la escuela, el hecho de haber repetido un grado y el grado académico en el que se encuentran los alumnos en el momento de la evaluación. Asimismo, a través una regresión logística se identificaron variables de proceso 1 Trabajo financiado por el Proyecto Nacional I+D PGC 2018-099174-B-100, Ministerio de Innovación, Ciencia y Universidades (España) y Fondos FEDER http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.28.4620 Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 2 vinculadas a la eficacia escolar, encontrándose únicamente que las variables de la escuela que resultaron significativas fueron: Participación de los profesores, Apoyo del profesor en las clases de ciencias, Estrategias de enseñanza dirigidas por el profesor. Palabras clave: México; Eficacia escolar; Logro académico; test de rendimiento Multilevel study about the explanatory variables of the results of Mexico in PISA 2015 Abstract: This study aims to analyze which student- and school-level context factors have a significant relationship with student achievement in the three competences assessed by PISA 2015 (Reading, Mathematics and Science) in Mexico. Through the use of multilevel modelling, we analyzed data from over 6 700 students from 189 schools, concluding that the factors with a higher impact on achievement are the average socioeconomic level of the school, having repeated a grade, and the grade the student is in at the time of the assessment. Likewise, through a logistic regression, the process variables related to school effectiveness were assessed, finding that only the following school-level ones had a significant impact: Teacher participation, Teacher support in science class, Teacher-directed science instruction. Key words: Mexico; School effectiveness; Academic achievement; Achievement Tests Estudo multinível sobre as variáveis explicativas dos resultados do México no PISA 2015 Resumo: Este estudo propôs analisar quais fatores contextuais de estudantes e escolas têm uma relação significativa com o desempenho nas três competências avaliadas pelo PISA 2015 (Leitura, Matemática e Ciência) no México. Através de modelos multinível, foram analisados os resultados de mais de 6.700 alunos distribuídos em 189 escolas, e verificou-se que os fatores com maior impacto são o nível socioeconômico médio da escola, o fato de ter repetido uma série, e a série acadêmica em que os alunos estão no momento da avaliação. Da mesma forma, através de uma regressão logística, foram identificadas variáveis de processo ligadas à efetividade escolar, verificando-se apenas que as variáveis escolares significativas foram: Participação do Professor, Apoio ao Professor em Aulas de Ciências, Estratégias de Ensino Lideradas pelo Professor. Palavras-chave: México; Eficácia Escolar; Desempenho Acadêmico; Teste de Desempenho Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 3 Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 Históricamente, México ha mostrado un resultado muy por debajo de los países de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) a través de las diferentes ediciones del Programa Internacional para la Evaluación de Estudiantes o Informe PISA (por sus siglas en inglés, ver tabla 1). De acuerdo con los resultados de 2015, el desempeño de México fue alrededor de 75 puntos menor al promedio de la OCDE, en las tres áreas evaluadas. Esta diferencia en la puntuación cobra mayor relevancia cuando se considera el lugar que ha ocupado México con respecto a los otros países participantes. Así, por ejemplo, en la edición de 2015, de los 70 países participantes, las puntuaciones de los estudiantes mexicanos se ubicaron en el lugar 58 en Ciencias, 55 en Lectura y 56 en Matemáticas, es decir más de 25 posiciones por debajo del promedio de la OCDE, o, dicho en otras palabras, por debajo del último cuartil. De hecho, como puntualizaron Martínez-Rizo y Silva Guerrero (2016), los resultados de México son inclusive inferiores a los de otros países de Latinoamérica (vg. Uruguay, Costa Rica y Colombia). Aunque en algunos ciclos se han producido avances, los datos siguen siendo desalentadores. Por ejemplo, en Matemáticas el logro ha incrementado casi 20 puntos, entre el 2000 y 2015; sin embargo, en Lectura prácticamente no ha variado, y en Ciencias de hecho ha disminuido (OCDE, 2016). Tabla 1 Revisión histórica de los resultados en PISA en México 2000 2003 2006 2009 2012 2015 Matemáticas Promedio OCDE 500 500 498 496 494 490 México 387 385 406 419 413 408 Lectura Promedio OCDE 500 494 492 493 496 493 México 422 400 410 425 424 423 Ciencias Promedio OCDE 500 500 500 501 501 493 México 422 405 410 416 415 416 Fuente: Elaboración propia con base en los reportes de la OCDE. A pesar del bajo nivel de estos resultados, especialistas en educación como Martínez-Rizo (2005) han señalado que estos resultados deben leerse de manera más objetiva, pues en realidad se debe considerar que en la OCDE participan países con niveles de desarrollo superiores a México; por lo que tomar como punto de comparación el promedio de la OCDE puede resultar injusto. Como señaló Márquez (2017, p. 10) “los datos de PISA, por sí solos, no son suficientes para determinar los niveles de avance en el logro educativo que alcanzan los países; además de que es necesario contextualizar sus resultados en la situación particular de cada país”. Es decir, no existe una combinación única de las características de los estudiantes que permitan explicar los resultados en la prueba, por lo que cada país debe identificar su propia vía para incrementar el logro educativo de los estudiantes que obtienen bajos resultados (Arikan, 2014). En consecuencia, resulta pertinente que cada país realice sus propios estudios sobre el tema. No obstante, existen relativamente pocos estudios empíricos sobre las variables asociadas al logro en PISA (Vega, Hernández & García, 2016), y menos aún en México, donde el contexto y sistema educativo resultan muy diferente a los de los otros países de la OCDE (Martínez-Rizo, 2005). Por tanto, se considera relevante proponer un estudio analítico sobre los factores asociados a las puntuaciones que obtienen los estudiantes mexicanos en PISA, realizado a partir de los datos aportados por los cuestionarios de contexto que se aplican en esta prueba. Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 4 Informe PISA La OCDE inició en el año 2000 la aplicación de PISA para valorar el logro educativo en estudiantes de 15 años. Esta evaluación se enfoca en identificar hasta qué punto los estudiantes de esta edad han adquirido los conocimientos y habilidades fundamentales necesarias en Ciencias, Lectura y Matemáticas. PISA no se centra solo en evaluar lo que los estudiantes han aprendido, sino en qué medida son capaces de aplicar lo que han aprendido a distintas situaciones que podrían enfrentar en la vida, o, en otras palabras, qué son capaces de hacer con lo que saben. Por lo tanto, PISA, es más que una evaluación del logro educativo. De acuerdo con Rutkowski (2015), la perspectiva de la OCDE sobre la educación está fuertemente influida por la teoría del capital humano, según la cual el objetivo de la educación es producir una fuerza de trabajo altamente capacitada que promueva crecimiento macroeconómico global. Es por ello que PISA se enfoca en medir el grado en que los estudiantes están preparados para los desafíos futuros, para comunicarse de manera efectiva y para continuar aprendiendo a lo largo de su vida. La OCDE pretende que los resultados de PISA sean de utilidad a las autoridades políticas del mundo, al poder contrastar el nivel de conocimientos y competencias de sus estudiantes en comparación con los demás países, y al mismo tiempo comparar lo que en estos se lleva a cabo en materia educativa, para aprender de lo que otros sistemas educativos implementan, e identificar cómo mejorar el logro en el propio país. Sin embargo, se debe considerar que no en todos los casos las muestras de estudiantes que participan en PISA son representativas de la población estudiantil, ya que incorporan sólo a los individuos que no han abandonado la escuela, y han podido seguir estudiando sin repetir demasiados grados, situación que se presenta con menor frecuencia en los países en vías de desarrollo (Gamboa & Waltenberg, 2015). Por lo tanto, en la interpretación de los resultados se debe considerar el contenido de las evaluaciones y la composición de las muestras (Darling-Hammond, 2014). Además, como ya se mencionó, los resultados deben analizarse a partir del contexto de cada país (Arikan, 2014; Márquez, 2017; Martínez-Rizo-2005). Como señalaron Deutsch, Dumas y Silber (2013), las variables determinantes de los resultados en PISA son diferentes en cada país. No obstante, en muchos casos los resultados de PISA se toman como medida de la calidad educativa y de la instrumentación de políticas en esta materia, tal es el caso de México (Quesada & Martínez, 2010). Martínez-Rizo y Silva-Guerrero (2016) anotaron que en el periodo comprendido entre 2007 a 2012, los resultados de PISA fueron el referente principal para la elaboración de políticas educativas. Inclusive, uno de los fundamentos del pasado Programa Sectorial de Educación 2013-2018 (Diario Oficial de la Federación [DOF], 13/12/2013), fueron precisamente los resultados históricos de México en PISA, pese a que los expertos han declarado que los resultados de esta prueba son insuficientes para el diseño de políticas, siendo indispensable integrar otros elementos del contexto e indicadores para poder sustentar la toma de decisiones (Martínez-Rizo, 2016; Rodríguez, 2005). A este respecto, Solano-Flores & Milbourn (2016) señalaron que las políticas y prácticas que, de acuerdo con los resultados de PISA, parecen exitosas en algunos países es probable que otros no lo sean, o resulten difíciles de instrumentar. Afirman los autores que la influencia de PISA en las políticas educativas varía considerablemente de un país a otro, lo cual podría estar determinado por las interpretaciones equivocadas que se hace de los resultados, y el uso inapropiado de los puntajes y rankings de los países participantes. No obstante, como puntualizó Jiménez (2018), la influencia de los resultados de PISA en la política educativa es tan notoria, que la mayoría de los países participantes fundamentan a partir de ella, sus procesos de reformulación curricular. Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 5 Variables Asociadas al Logro Educativo en PISA Como se expuso, el análisis de resultados de PISA debe considerar el contexto en el que se interpretan los resultados, además de tener en cuenta que el logro académico es producto de un amplio grupo de variables de índole, personal y social (Martínez-Rizo, 2016). De forma más específica Deutsch et al. (2013) las agruparon en individuales, parentales y escolares, las cuales tienen un peso explicativo diferente en cada país. Sin embargo, en la mayoría de los estudios se analizan muestras de un solo país, y en cada caso se centran en diferentes grupos de variables contextuales, utilizando distintos procedimientos de análisis. A la fecha se pueden identificar variables vinculadas a los altos resultados en PISA, cada una con distinto peso explicativo según la prueba y el país (Camminatiello, Paletta & Speziale, 2012; Gamboa & Waltenberg, 2015; Usta, 2016); y, además, modulada, en muchas ocasiones, por otras variables (Schindler, 2007). Así, de manera general se pueden encontrar tres grandes grupos de variables asociadas a los resultados del logro educativo: nivel socioecónomico, características personales y variables psicoeducativas. Nivel socioeconómico. Es bien sabido que el nivel socioeconómico (NSE) incide de forma directa en el logro escolar (Woitschach, Fernández-Alonso, Martínez-Arias & Muñiz, 2017). Vale la pena tener presente que el hecho de que estudiantes con diferente NSE, no tienen las mismas posibilidades de éxito en las evaluaciones, revela la inequidad social del sistema educativo (Gamboa & Waltenberg, 2015; Karakolidis, Pitsia & Emvalotis, 2016). Situación que es particularmente más notoria en los países de Latinoamérica (Breton & Canavire-Bacarreza, 2017; Deutsch, 2012, Woitshach et al., 2017), en donde existe una amplia segregación que incide de manera directa en los resultados académicos de los estudiantes (Krüger, 2017). Al respecto, Rodríguez (2005) señaló que las variables de NSE explican más varianza principalmente en los países en los que existe mayor desigualdad social, y, por el contrario, en países con brechas más angostas de desigualdad, son las variables psicológicas las que toman mayor fuerza (Arikan, 2014; Karakolidis et al., 2016; Ortiz, 2013; Özdemir, 2016). Sin embargo, un nivel socioeconómico alto también puede tener un efecto negativo, Schindler (2007) encontró que, en los estudiantes daneses, un mayor NSE se asociaba a menores puntuaciones en Lectura. Concluyendo que, en realidad, una mayor riqueza implica otro conjunto de variables que afectan las puntuaciones de las pruebas. Además, altamente asociado al nivel socioeconómico se encuentran las variables de capital cultural, particularmente las relacionadas al nivel educativo de los padres (Giménez & Castro, 2017; Nieto & Recaman, 2011; Ortiz, 2013); aunque también variables como el número de libros en casa (Kasapoglu, 2014) tienen un peso explicativo importante. Estas desigualdades tienen un fuerte impacto en las trayectorias educativas; sin embargo, como concluyó Krüger (2017), los sistemas educativos en países con alto grado de marginación no están logrando ofrecer condiciones de escolarización que puedan compensar el impacto de dichas desigualdades Características personales. Además del nivel socioeconómico, existen otras características de índole personal que impactan los resultados en PISA. Entre las más citadas se encuentran el género (Deutsch, 2013; Gamazo, Martínez-Abad, Olmos-Miguelañez & Rodríguez Conde, 2018; Karakolidis et al., 2016; Kasapoglu, 2014; Özdemir, 2016; Stoet & Geary, 2014), el estatus migratorio (Gamazo et al., 2018; Karakolidis et al., 2016), la asistencia a educación preescolar (Karakolidis et al., 2016, Ortiz, 2013), la condición de repetidor (Choi & Calero, 2013; Ehmke, Drechsel & Carstensen, 2008; Gamazo et al., 2018; Giménez & Castro, 2017) el número de veces que ha cambiado de escuela y el historial académico previo (Gamazo et al., 2018). Variables psicoeducativas. Los aspectos relativos a la personalidad y hábitos del estudiante tienen un alto correlato con las puntuaciones de PISA. Por ejemplo, en una muestra de estudiantes turcos, Arikan (2014) mostró que la motivación para aprender, la autoeficacia, así como la ansiedad Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 6 por las matemáticas tienen efectos significativos en los resultados en la prueba de Matemáticas. Asimismo, el nivel de confianza en sus capacidades (Giménez & Castro, 2017; Usta, 2016) la actitud hacia la prueba (Kasapoglu, 2014) y hacia la escuela (Usta, 2016) tienen influencia en las puntuaciones obtenidas. Variables de Eficacia Escolar Asociadas a las Puntuaciones en PISA Dentro de las variables explicativas del logro educativo, se encuentran también aquellas relativas a los centros escolares. En la literatura se ha documentado que existen ciertas prácticas que pueden darse al interior de las escuelas y que inciden de manera positiva sobre los resultados académicos de los estudiantes (Deutsch et al., 2013). Las escuelas que llevan a cabo este tipo de prácticas han sido definidas como eficaces, pues éstas “consiguen un desarrollo integral de todos y cada uno de sus alumnos, mayor de lo que sería esperable teniendo en cuenta su rendimiento previo y la situación social, económica y cultural de las familias” (Murillo, 2005, p. 25). Resulta entonces relevante para el desarrollo de las políticas educativas de un país detectar cuáles son los factores organizativos, pedagógicos y relacionales que una escuela puede poner en práctica para promover el desarrollo de sus estudiantes por encima de su situación contextual; o, dicho en otras palabras, detectar los factores de eficacia escolar. A partir de los resultados de PISA se han desarrollado varios estudios en los países participantes tratando de identificar estas variables de eficacia escolar. Es importante señalar que, al igual que las variables de contexto y del estudiante, estas variables no tienen el mismo peso en todos los países, ni en todas las pruebas, tal como lo puntualizaron Deutsch et al. (2016). Sin embargo, su revisión ayuda a comprender el efecto que la escuela tiene en las puntuaciones de los estudiantes. Resulta pertinente iniciar mencionando los resultados del estudio de Karakolidis et al. (2016) quienes mostraron que cerca del 40% de la varianza del logro, es atribuida a las diferencias entre las escuelas y 60% a la diferencia dentro de las escuelas. Es decir, lo que sucede dentro de la escuela tiene un gran peso explicativo en el logro de los estudiantes. Así, se pueden encontrar en la literatura tres grupos de variables escolares que explican el logro de los estudiantes: organización escolar, clima y ambiente escolar y estrategias de enseñanza. Organización escolar. Este rubro hace referencia a las acciones de organización y gestión que se llevan a cabo dentro de la escuela o el aula. Por ejemplo, en cuanto a la gestión del tiempo, Anil (2011) encontró una correlación lineal positiva entre el tiempo dedicado al aprendizaje y el logro en ciencias; asimismo, Karakolidis et al. (2016) mostraron que esta variable también se asocia al logro en matemáticas. Otro aspecto importante arrojado por la investigación es la implicación de los padres de familia y el uso de los resultados de las evaluaciones como insumo para el establecimiento de estrategias de mejora (Camminatiello et al., 2012). Clima y ambiente escolar. Bove et al. (2016) encontraron que las percepciones de estudiantes sobre el clima de la escuela y del aula predicen los resultados en PISA. Los autores afirmaron que una atmósfera apacible y ordenada en las escuelas y las aulas, motiva a los estudiantes y ayuda a transformar el interés de estos en las matemáticas; resultados compartidos por otros autores (Giménez & Castro, 2017; Jorge-Moreno, 2016; Rodríguez, 2005). Estrategias de enseñanza. Bove et al. (2016) mostraron que las estrategias de activación cognitiva que utiliza el docente incrementaron 28 puntos el resultado en matemáticas. Por el contrario, las conductas del docente tales como orientación al estudiante, evaluación formativa e instrucción directa se asociaron con puntajes más bajos en PISA. Afirmaron que las demandas cognitivas altas que estimulan el funcionamiento y procesamiento cognitivo estimulan el interés de los estudiantes por descubrir y comprender los conceptos y procedimientos matemáticos. Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 7 Es importante reiterar que los resultados de las variables explicativas pueden variar de un país a otro, lo que en un país puede tener impacto en otro no (Márquez, 2017). Así, por ejemplo, en el estudio realizado por Gamazo et al. (2018) se concluyó que las variables de proceso evaluadas en directores y docentes no inciden en el nivel de eficacia de las escuelas. Los autores explicaron que las causas de estos resultados pueden ser de diversa naturaleza, una de ellas se centró en la probable deficiencia de los cuestionarios de contexto, pero también es probable como mencionó Schindler (2007), que existen otras variables intervinientes que modulan los efectos de los resultados. Modelos Multinivel En el estudio de los resultados en PISA resulta pertinente el uso de metodologías que permiten analizar los datos a partir de su naturaleza anidada, tal es el caso de los análisis multinivel. No obstante, González-Such et al. (2016) afirmaron que, en la mayoría de los estudios de PISA, se utilizan procedimientos de análisis que no toman en cuenta la naturaleza anidada de los datos; por ejemplo, la regresión o análisis de senderos (Arikan, 2014; Burhan et al., 2016; Camminatiello et al., 2012; Kasapoglu, 2014; Ortíz, 2013; Schindler, 2007); análisis de conglomerados (Nieto & Recaman, 2011), o de descomposición (Giménez & Castro, 2017), entre otros. No obstante, en pocos casos se ubican estudios que consideran el uso de modelos multinivel (Bove et al., 2016; Gamazo et al., 2018; Karakolidis et al., 2016; Krüger, 2017; Quiroz, Dari & Cervini, 2018; Usta, 2016); a pesar de que como afirmaron Giménez y Castro (2017), los modelos jerárquicos o multinivel tienen la ventaja de que permiten tomar en consideración las potenciales correlaciones entre los términos de error que aparecen entre los estudiantes de una misma clase, profesor o escuela. Con base en lo expuesto, se establecen las siguientes consideraciones: (a) las variables explicativas del logro son distintas de un país a otro, por lo que siempre resultan pertinentes los estudios enfocados en su identificación en cada país; (b) los modelos explicativos deben considerar la naturaleza anidada de los datos, e implementar estudios multinivel o jerárquicos que permitan establecer conclusiones más certeras; (c) no existe, hasta ahora, un estudio con estudiantes mexicanos que analice los resultados de PISA considerando el anidamiento de los datos y la identificación particular de las variables contextuales, en la generación de un modelo explicativo del logro en esta prueba. Es así que el objetivo del presente estudio es identificar las variables, de nivel estudiante y de nivel escuela, que explican los resultados de México en PISA 2015, a fin de contribuir a la comprensión de los niveles de logro obtenidos por este país latinoamericano; así como a la generación de información como insumo, tanto para el establecimiento de acciones de mejora, como para ubicar desde una mejor perspectiva el uso de los resultados de PISA en la toma de decisiones en materia de política educativa. Método Participantes La muestra recogida en México para la aplicación de 2015 de la evaluación PISA estuvo compuesta por 275 escuelas y 7568 estudiantes. Sin embargo, algunos estudios previos (Gamazo et al., 2018; Joaristi, Lizasoain & Azpillaga, 2014; Martínez-Abad, Lizasoain, Castro & Joaristi, 2017) sugieren la eliminación de escuelas con pocos sujetos participantes para facilitar un análisis apropiado de las variables agregadas a nivel de escuela, por lo que en el presente estudio se eliminaron las escuelas con menos de 20 participantes. La muestra final se compuso de 186 escuelas (169 públicas y 17 privadas) y 6 716 estudiantes, de los cuales el 49.2% fueron hombres y el 50.8% fueron mujeres. Aproximadamente el 73% de estudiantes se encontraban cursando la educación media superior, mientras que el 24% restante se encontraban en algún curso de la secundaria. Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 8 A diferencia de los ciclos anteriores, en el ciclo 2015 de la evaluación PISA en México, no tuvo datos representativos por estado, sino que se configuró una muestra nacional. Este cambio está motivado fundamentalmente por la decisión de aplicar la prueba a través de computadoras tomada por el Instituto Nacional para la Evaluación de la Educación (INEE), lo cual, debido a una falta de disponibilidad de estos equipos en los planteles, implicó reducir la muestra (INEE, 2017; OCDE, 2016). Por este motivo, no puede informarse de la distribución de la muestra en función del estado de procedencia de las escuelas y los estudiantes. Instrumentos Para la realización de este estudio se utilizó información procedente de dos tipos de instrumentos en la aplicación de PISA 2015. Por un lado, se tomó la información de desempeño recogida por las pruebas competenciales de Lectura, Matemáticas y Ciencias. Por otro lado, también se incluyó la información procedente de los cuestionarios de contexto aplicados a estudiantes, familias de los estudiantes y directivos de las escuelas. Esta información se refiere a distintos ámbitos de la vida de los estudiantes y el funcionamiento de las escuelas (OCDE, 2016), y está fundamentalmente centrada en: (a) Datos socioeconómicos y demográficos de los estudiantes y sus familias; (b) Aspectos de la vida del estudiante relacionados con la educación, como su motivación, sus hábitos o su entorno familiar; (c) Aspectos escolares como los recursos disponibles, el tipo de escuela, procesos de toma de decisiones, gestión del personal y desarrollo curricular y extracurricular; (e) Contexto de la instrucción, que incluye información sobre el tamaño de la escuela y las clases o el clima escolar. Variables Dadas las características del análisis que se llevó a cabo, en este estudio se clasificaron las variables de resultado y de contexto. Variables de resultado. Se emplearon las puntuaciones de desempeño obtenidas por los estudiantes en las tres competencias evaluadas en PISA (OCDE, 2016, p. 13): Lectura: “La habilidad de los estudiantes para comprender, utilizar, reflexionar e interactuar con textos escritos con el objetivo de alcanzar sus metas, desarrollar su conocimiento y potencial, y participar en la sociedad”. Matemáticas: “La habilidad de los estudiantes para formular, emplear e interpretar las matemáticas en una variedad de contextos. Esto incluye el razonamiento matemático y el uso de conceptos, procedimientos, hechos y herramientas matemáticas para describir, explicar y predecir fenómenos”. Ciencias: “Una persona con competencia científica está dispuesta a comprometerse con un discurso razonado sobre ciencia y tecnología, lo cual requiere habilidades para explicar fenómenos de manera científica, evaluar y diseñar investigaciones científicas, e interpretar datos y evidencias de manera científica”. Variables de contexto. La tabla 2, muestra las variables que fueron incluidas inicialmente en todos los modelos, junto con los valores posibles de la variable. Se informa también de las etiquetas de las variables utilizadas durante el estudio para facilitar la interpretación de la información ofrecida en la sección de resultados. Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 9 Tabla 2 Variables de entrada utilizadas en el análisis multinivel Nivel Variable Etiqueta Valores Nivel 1 - Estudiante Género N1GENERO 0: Masculino, 1: Femenino Mes de nacimiento N1MES 1-12 (enero-diciembre) Curso N1CURSO 1º de Secundaria - 3º EMS Estatus migratorio N1IMMIGBIN 0: Nativo, 1: Inmigrante de 1ª o 2ª generación Condición de repetidor N1REPET 0: No, 1: Sí Idioma hablado en el hogar N1IDIOMA 0: Idioma de la prueba, 1: Otro idioma Índice socioeconómico y cultural (ESCS) N1 ESCS Continua Nivel 2 - Escuela Tamaño de la escuela N2TAMES Continua Tamaño de la clase N2TAMCLAS Continua Escasez de recursos N2ESCRES Continua Escasez de personal N2ESCPERS Continua Tipo de escuela N2TITESC 0: Privada, 1: Pública Ratio profesor-alumnos N2RATIO Continua Tasa de repetidores N2REPET Continua Tasa de inmigrantes N2INMIG Continua Tasa de alumnas N2GENERO Continua Nota: La composición de estas variables se puede consultar en el documento de la OCDE: https://opisa1.s3.amazonaws.com/uploads/avnerkantor%40gmail.com/2017/01/08/indeces.pdf Variables de proceso. Por otro lado, las variables de proceso contenidas en los instrumentos de PISA se utilizaron en una fase posterior de análisis (ver sección sobre Procedimiento). Debido a la gran cantidad de variables procesuales disponibles, se decidió utilizar solamente aquellas que se ofrecían en forma de índice, aunando la información de varios ítems relacionados con el mismo tema, para asegurar una mayor robustez de las puntuaciones en lugar de utilizar los ítems por separado. Las variables escolares utilizadas fueron: Liderazgo, Desarrollo profesional, Desarrollo del currículum, Responsabilidad del centro sobre los recursos y el currículum, Autonomía escolar, Participación del profesorado y Actividades extraescolares de carácter creativo. Las variables relacionadas con los estudiantes fueron: Motivación, Disposición al trabajo colaborativo, Competencia, Interés y autonomía en el uso de las nuevas tecnologías, Estatus ocupacional esperado, Apoyo emocional y académico parental, Sentimiento de pertenencia al centro, Retroalimentación percibida, Adaptación de la instrucción, Imparcialidad del profesorado, Creencias epistemológicas, Disfrute e interés por la ciencia, Clima de disciplina en el aula, Conciencia y optimismo medioambiental, Apoyo del profesor, Estrategias de enseñanza-aprendizaje basadas en la experimentación, y Estrategias de enseñanza-aprendizaje dirigidas por el maestro (las últimas siete variables se refieren específicamente a la materia de ciencias). Procedimiento La primera fase del estudio consistió en la utilización de técnicas de análisis multinivel, en este caso modelos jerárquicos lineales (Snijders & Bosker, 2012), con un doble objetivo: descubrir qué variables contextuales se relacionan de manera significativa (p < .05) con las puntuaciones de desempeño de los alumnos en cada una de las competencias evaluadas, y estimar la puntuación https://opisa1.s3.amazonaws.com/uploads/avnerkantor%40gmail.com/2017/01/08/indeces.pdf Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 10 media esperada para cada escuela en función de la influencia de dichas variables. Esta estimación fue comparada con la puntuación media obtenida por las escuelas para obtener su puntuación residual (o residuo), es decir, la diferencia entre la puntuación media obtenida y esperada de cada escuela, que son derivados a través de estimadores de Bayes empírico (Raudenbush, Bryk & Cheong, 2011). Las puntuaciones residuales sirvieron para ordenar las escuelas de menor a mayor, desde aquellas con un residuo negativo más alto (escuelas con un rendimiento muy por debajo al esperado según sus características contextuales) hasta aquellas con un residuo positivo más alto (escuelas con un rendimiento muy por encima al esperado). Estas escuelas fueron denominadas como de baja y alta eficacia respectivamente. Las escuelas incluidas como de alta eficacia en la siguiente fase de análisis fueron aquellas cuya puntuación residual se encontraban en el 33% superior (por encima del percentil 66) simultáneamente en las tres competencias. En el caso de las escuelas de baja eficacia, se siguió el mismo procedimiento, pero teniendo como referencia el 33% inferior de las puntuaciones (puntuaciones por debajo del percentil 33). El establecimiento de estos puntos de corte se basó en estudios previos con procedimientos similares (Gamazo et al., 2018; Martínez-Abad et al., 2017), cuyo objetivo era generar un criterio de selección robusto. Así se seleccionaron 40 escuelas de baja eficacia y 38 de alta eficacia. Posteriormente se inició la última fase consistente en buscar relaciones significativas (p < .05) entre las variables de proceso (escolares y personales) y el nivel de eficacia de las escuelas. Para ello, se creó una nueva variable dicotómica, indicando si la escuela pertenecía al grupo de alta o baja eficacia, y se llevó a cabo un análisis de regresión logística para identificar qué variables de proceso se relacionaban con cada nivel de eficacia de las escuelas. Resultados En esta sección se reportan los resultados de ambas fases del estudio, comenzando con el análisis multinivel de las variables de contexto relacionadas con el rendimiento de los estudiantes, siguiendo con el análisis de las puntuaciones residuales de las escuelas y terminando con el análisis de regresión logística. Variables de Contexto Asociadas al Rendimiento Académico Uno de los supuestos previos necesarios para llevar a cabo el análisis multinivel con un conjunto de datos determinado es que exista suficiente varianza explicada al segundo nivel de anidación de dichos datos, en nuestro caso al nivel de escuela. Para obtener el grado de varianza en las puntuaciones atribuible al nivel dos, es necesario estimar un modelo nulo o incondicional, en el cual no se introduce ninguna variable predictora, y cuya información acerca de los componentes de la varianza sirve para poder calcular el llamado Coeficiente de Correlación Intraclase (CCI). El CCI se expresa a través de la siguiente fórmula: 𝐶𝐶𝐼 = 𝜏00 𝜏00 + 𝜎 2 El término τ00 se refiere a la variabilidad entre los centros y σ2 representa la variabilidad entre los alumnos. De manera general, para que un conjunto de datos pueda analizarse a través de técnicas multinivel, es necesario que el CCI no sea cercano a cero. Algunos autores sitúan el punto de corte para poder asegurar la idoneidad de la técnica en un valor superior al 10% (Lee, 2000; Gamazo et al., 2018). En el caso de las puntuaciones obtenidas por los estudiantes mexicanos en la prueba PISA 2015, el valor del CCI se sitúa en 27.61% en el caso de la competencia de Matemáticas, 34.1% para Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 11 Lectura y 28.98% en el caso de Ciencias. Considerando estos valores, se procede a realizar el análisis multinivel para cada una de las tres competencias. Matemáticas. Las variables de entrada que resultaron tener una relación significativa con las puntuaciones de rendimiento en Matemáticas se recogen en la siguiente ecuación: Puntuación en Matemáticasij = γ00 + γ01*N2TITESCj + γ02*N2INMIGj + γ03*N2ESCSj + γ10*N1GENEROij + γ20*N1CURSOij + γ30*IMMIGBINij + γ40*N1REPETij + γ50*N1ESCSij + γ60*N1IDIOMAij + u0j+ rij El valor de los coeficientes de estas variables, así como el error estándar y los valores t y de significación pueden encontrarse en la tabla 3. Tabla 3 Estimación de los efectos fijos con errores estándar robustos en la competencia de Matemáticas Nivel Efecto Fijo Coeficiente Error estándar t-ratio p-valor Escuela INTRCPT1, β0 INTRCPT2, γ00 462.443448 11.631123 39.759 <0.001 Tipo de escuela, γ01 26.186562 9.156101 2.860 0.005 Tasa Inmigrantes, γ02 -18.232154 8.675090 -2.102 0.037 ESCS, γ03 24.020703 3.683130 6.522 <0.001 Estudiante Género, β1 INTRCPT2, γ10 -8.532114 2.896340 -2.946 0.005 Curso, β2 INTRCPT2, γ20 15.779470 3.291038 4.795 <0.001 Estatus migratorio, β3 INTRCPT2, γ30 -3.290555 1.298074 -2.535 0.017 Repetición, β4 INTRCPT2, γ40 -28.053622 4.830994 -5.807 <0.001 ESCS, β5 INTRCPT2, γ50 4.921814 1.425768 3.452 <0.001 Idioma, β6 INTRCPT2, γ60 -22.197228 8.694463 -2.553 0.016 Nota: Las variables incluidas en la ecuación se resaltan en negritas. Fuente: Elaboración propia. Como puede observarse atendiendo a la columna de los valores t-ratio, los cuales indican la magnitud del efecto de las variables, la variable que más afecta al rendimiento en Matemáticas es el nivel socioeconómico medio del centro, seguido de la condición de los alumnos como repetidores y el curso en el que se encuentran. La variable género también resultó significativa, ya que los hombres obtienen, en promedio, 8.5 puntos más que las mujeres después de aislar el efecto del resto de las Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 12 variables. El CCI del modelo final fue de 10.63%. Teniendo en cuenta el CCI del modelo nulo (27.61%), se puede afirmar que las variables incluidas en el modelo final explican un 61.5% (16.98 puntos porcentuales) de la varianza del nivel 2 (escuelas). Lectura. Las variables incluidas en el modelo final relativo a la competencia en comprensión lectora se reflejan en la siguiente ecuación, y sus coeficientes pueden consultarse en la tabla 4. Puntuación en Lecturaij = γ00 + γ01*N2TITESCj + γ02*N2ESCSj + γ10*N1GENEROij + γ20*N1CURSOij + γ30*IMMIGBINij + γ40*N1REPETij + γ50*N1ESCSij + u0j+ rij Tabla 4 Estimación de los efectos fijos con errores estándar robustos en la competencia de Lectura Nivel Efecto Fijo Coeficiente Error estándar t-ratio p-valor Escuela INTRCPT1, β0 INTRCPT2, γ00 461.173305 8.665100 53.222 <0.001 Tipo de escuela, γ01 17.441869 8.561325 2.037 0.043 ESCS, γ02 33.085092 4.062728 8.144 <0.001 Estudiante Género, β1 INTRCPT2, γ10 14.482215 2.389255 6.061 <0.001 Curso, β2 INTRCPT2, γ20 17.432405 2.869049 6.076 <0.001 Estatus migratorio, β3 INTRCPT2, γ30 -36.193455 15.118498 -2.394 0.019 Repetición, β4 INTRCPT2, γ40 -27.750942 5.597406 -4.958 <0.001 ESCS, β5 INTRCPT2, γ50 6.080416 1.590518 3.823 <0.001 Nota: Las variables incluidas en la ecuación se resaltan en negritas. Fuente: elaboración propia Al igual que en el caso de Matemáticas, el nivel socioeconómico medio de la escuela nuevamente la variable que más influye en el rendimiento de los estudiantes en Lectura, seguida por el curso en el que se encuentran y su género (en este caso, la diferencia se presenta a favor de las alumnas, que obtienen en promedio 14.48 puntos más que sus compañeros). La variable relacionada con la repetición de curso también resultó tener un impacto alto en el nivel de logro de los estudiantes. El CCI del modelo final tiene un valor de 13.27%. Comparándolo con el valor del modelo nulo (34.1%), por lo que se concluye que el modelo presentado explica un 61.08% (20.83 puntos porcentuales) de la varianza del nivel 2. Ciencias. Las variables que han resultado en una relación significativa con la puntuación de los estudiantes en Ciencias se presentan en la siguiente ecuación, y sus valores específicos pueden consultarse en la tabla 5. Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 13 Puntuación en Cienciasij = γ00 + γ01*N2TITESCj + γ02*N2ESCSj + γ10*N1GENEROij + γ20*N1CURSOij + γ30*IMMIGBINij + γ40*N1REPETij + γ50*N1ESCSij + γ60*N1IDIOMAij + u0j+ rij Tabla 5 Estimación de los efectos fijos con errores estándar robustos en Ciencias Nivel Efecto fijo Coeficiente Error estándar t-ratio p-valor Escuela INTRCPT1, β0 INTRCPT2, γ00 469.090840 10.465033 44.825 <0.001 Tipo de escuela, γ01 19.684956 8.267954 2.381 0.018 ESCS, γ02 27.081990 3.291229 8.229 <0.001 Estudiante Género, β1 INTRCPT2, γ10 -9.281109 2.345294 -3.957 <0.001 Curso, β2 INTRCPT2, γ20 15.602146 2.299281 6.786 <0.001 Estatus migratorio, β3 INTRCPT2, γ30 -3.184274 1.217783 -2.615 0.013 Repetición, β4 INTRCPT2, γ40 -24.507109 3.951658 -6.202 <0.001 ESCS, β5 INTRCPT2, γ50 5.223065 1.342977 3.889 <0.001 Idioma, β6 INTRCPT2, γ60 -15.698925 7.641854 -2.054 0.045 Nota: Las variables incluidas en la ecuación se resaltan en negritas. Fuente: Elaboración propia Los resultados del modelo de Ciencias son muy similares a los de Matemáticas. Las variables con más alto impacto en el rendimiento científico son el nivel socioeconómico medio de la escuela, el curso de los estudiantes y su condición de repetidores. El efecto del género vuelve a indicar un rendimiento ligeramente superior (media de 9.28) de los alumnos varones sobre las mujeres. El CCI del modelo final adopta un valor de 10.48%. En comparación con el CCI del modelo nulo (28.98%), resulta en una varianza explicada del 63.84% (18.5 puntos porcentuales). Selección de los planteles. A través del método explicado en la sección de Procedimiento, se seleccionaron 40 escuelas de baja eficacia (21.5% del total) y 38 escuelas de alta eficacia (20.4% del total), quedando sin seleccionar aproximadamente el 60% de los centros. Para comprobar si existían diferencias significativas en las variables de caracterización de los centros según su eficacia, se realizó una diferencia de medias (prueba t, p < .05) del ESCS medio, la tasa de repetidores, la tasa de alumnado inmigrante y la puntuación esperada en las tres competencias, cuyos estadísticos descriptivos se encuentran resumidos en la tabla 6. El análisis no arrojó diferencias significativas en las medias de ninguna de las variables excepto de la tasa de inmigrantes (p = .02), que resulta significativamente superior en los centros de baja eficacia. Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 14 Tabla 6 Estadísticos descriptivos de las variables de caracterización de los centros según su eficacia Variable Baja eficacia Alta eficacia Media Max. Mín. D.E. Media Max. Min. D.E. Tasa inmigrantes .25 .85 .00 .27 .13 .53 .00 .17 Tasa repetidores .13 .87 .00 .22 .14 .90 .00 .24 ESCS medio -1.33 0.00 -2.50 0.58 -1.19 1.12 -3.73 .96 P.E. Matemáticas 452.52 475.35 408.79 15.43 456.64 482.53 406.42 17.43 P.E. Lectura 429.92 461.19 377.98 20.06 433.91 498.71 347.14 29.69 P.E. Ciencias 452.78 477.55 406.40 16.10 455.62 501.76 388.03 22.39 Nota: Max = máximo, Mín = mínimo, D.E. = desviación estándar, P.E. = puntuación estimada. Fuente: elaboración propia Variables de proceso asociadas a la eficacia escolar. La última fase del estudio consistió en analizar la relación de las variables de proceso contenidas en los cuestionarios de PISA con la variable dicotómica (alta-baja eficacia) generada en la fase anterior de selección de centros. Se comenzó por estudiar las variables procesuales a nivel de escuela (tabla 7), y se encontró que sólo la variable relativa a la Participación de los profesores en el centro educativo (participación en procesos de toma de decisiones, construcción de la cultura del centro, revisión de las actividades de la dirección) mostró una relación significativa con la eficacia de las escuelas. Tabla 7 Resultados de la regresión logística con variables escolares Variable B E.E. Wald gl Sig. Exp(B) Participación de los profesores -.835 .296 7.943 1 .005 .434 Constante .020 .241 .007 1 .933 1.021 Nota: E.E. = error estándar, Sig. = Nivel de significancia. Fuente: Elaboración propia En el caso de las variables de estudiantes (agrupadas al nivel de escuela), hubo más relaciones significativas (tabla 8). En concreto, las variables que mostraron tener una relación positiva con la eficacia escolar fueron el Uso de estrategias de enseñanza de las ciencias dirigidas por el profesor, la Conciencia medioambiental de los estudiantes, el Disfrute de las ciencias por parte de los estudiantes y el Interés de los estudiantes por las tecnologías de la información y la comunicación. Por el contrario, se encontraron otras variables que tuvieron una relación significativa negativa con el constructo de la eficacia escolar. Dichas variables fueron el Apoyo del docente durante las clases de ciencias, la Medida en la que los estudiantes valoran la cooperación en el contexto del trabajo en grupo, y el nivel de Competencia en el manejo de las tecnologías de la información y la Comunicación percibido por los estudiantes. Por otro lado, los resultados presentan un ajuste aceptable, evidenciado por el índice R2 de Nagelkerke, el cual adopta un valor de .601. Además, el modelo resultó en un 85.9% de predicciones correctas con respecto a la clasificación de los centros en función de su residuo (87.5% en el caso de las escuelas de baja eficacia y 84.2% en el caso de las de alta eficacia). Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 15 Tabla 8 Resultados de la regresión logística con variables individuales agrupadas Variable B E.E. Wald gl Sig. Exp(B) Apoyo del profesor en las clases de ciencias -5.415 1.721 9.902 1 .002 0.004 Estrategias de enseñanza dirigidas por el profesor 5.149 1.850 7.747 1 .005 172.325 Conciencia medioambiental de los estudiantes 3.062 1.244 6.058 1 .014 21.379 Disfrute de la ciencia de los estudiantes 5.353 2.098 6.512 1 .011 211.197 Valoración de la cooperación en el trabajo en grupo -3.764 1.719 4.796 1 .029 0.023 Interés de los estudiantes por las TIC 6.552 2.060 10.112 1 .001 700.451 Nivel en el manejo de las TIC -6.432 1.927 11.140 1 .001 0.002 Constante 1.695 1.082 2.453 1 .117 5.448 Nota: E.E. = error estándar, Sig. = Nivel de significancia. Fuente: Elaboración propia Discusión y Conclusiones El principal argumento que sostiene el presente estudio es el de la importancia del contexto en la interpretación de los resultados de PISA. Varios autores han señalado que las variables contextuales son distintas en cada país y, por lo tanto, es necesario llevar a cabo estudios particulares en cada caso que ayuden a entender mejor los factores asociados a los niveles de logro académico que obtienen en los estudiantes en esta prueba (Arikan, 2014; Deutsch et al., 2013; Márquez, 2017; Martínez-Rizo, 2005). Esto es particularmente aplicable a México, donde el contexto y sistema educativo tienen una marcada diferencia respecto a otros países de la OCDE (Martínez-Rizo, 2005). Asimismo, dado que los estudiantes están agrupados (o anidados) en escuelas, es importante tener en cuenta este anidamiento en el análisis de los datos (González-Such et al., 2016), por lo que los métodos multinivel, como los aplicados en este estudio, resultan los más apropiados para llevar a cabo la identificación de los factores asociados al logro (Bove et al., 2016; Gamazo et al., 2018; Karakolidis et al., 2016; Usta, 2016). Es así que, utilizando este tipo de análisis, los resultados de este estudio permitieron identificar las variables de contexto y procesuales que se asocian a las puntuaciones de estudiantes mexicanos en PISA. Variables contextuales asociadas al logro. Respecto a las variables contextuales, se identifica que, a nivel de escuela, la variable más fuertemente asociada con el nivel de logro de los estudiantes es el nivel socioeconómico medio de la escuela, resultado congruente con el planteamiento de Rodríguez (2005), quien afirmó que el nivel socioeconómico explica más varianza principalmente en países en donde existe mayor desigualdad social, tal es el caso de México. No obstante, se identificaron, otras variables contextuales que también contribuyen a explicar el logro educativo de los estudiantes. Por ejemplo, la variable Tipo de escuela está presente en las tres competencias, mostrando que los estudiantes de escuelas privadas son quienes obtienen las mayores puntuaciones. No obstante, a nivel de estudiante, las variables contextuales con mayor poder explicativo difirieron en cada competencia. En Matemáticas, por ejemplo, se identificó que la variable que más peso aporta es la Condición de repetidor, con un valor negativo, lo que indica que los estudiantes repetidores obtienen menores puntuaciones. Para el caso de Lectura, la variable del estudiante que más aporta fue el género, de manera que son las mujeres quienes obtienen mejores resultados. Finalmente, para Ciencias, es la variable Curso la que logra más peso, o sea que los estudiantes que ya se encuentran cursando la educación media superior obtienen las mayores puntuaciones. Sin Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 16 embargo, al igual que a nivel de escuela, a nivel de estudiante también se identificaron otras variables que también mostraron un poder explicativo, aunque en menor grado. Así, por ejemplo, se encontró que la variable Género aporta de forma distinta en cada competencia (Gamazo et al., 2018; Karakolidis et al., 2016; Kasapoglu, 2014; Özdemir, 2016; Stoet & Geary, 2014). Para Matemáticas y Ciencias, los estudiantes varones son quienes obtienen las mejores puntuaciones, mientras que en Lectura son las mujeres. Otra variable que resultó con peso explicativo fue el Curso, encontrando que en las tres competencias los estudiantes que están cursando educación media superior obtienen mejores resultados que los que están cursando el último grado de secundaria. Por último y de forma curiosa, aunque México no es un país que se caracterice por una alta tasa de inmigración, el Estatus migratorio del estudiante también resultó ser una variable explicativa del nivel de logro, de manera que los estudiantes inmigrantes obtienen puntuaciones más bajas en las tres competencias evaluadas (Gamazo et al., 2018; Karakolidis et al., 2016). Sin embargo, otro fenómeno migratorio que sería interesante estudiar en relación con el nivel de logro de los estudiantes es la migración interna que se produce entre distintos puntos dentro del país, ya que afecta a buena parte de la población mexicana (Varela, Ocegueda & Castillo, 2017). Sin embargo, los cuestionarios de contexto de PISA no ofrecen información sobre esta variable, por lo que podría constituirse como una futura línea de investigación. Por otro lado, la condición de repetidor reduce el nivel de logro (Choi & Calero, 2013; Ehmke et al., 2008; Gamazo et al., 2018; Giménez & Castro, 2017). Otra variable que se identificó también a nivel de estudiante fue el nivel socioeconómico. Esta última variable llama la atención, pues no es la que más peso aporta en el caso de los estudiantes, pero a nivel de escuela resultó la de mayor poder explicativo. Es decir, aparentemente no tiene el mismo efecto en el logro a nivel individual como a nivel escuela. Resulta complejo tratar de interpretar este resultado; una posible explicación es que, a nivel individual, otras variables tanto contextuales como de proceso pueden coadyuvar en reducir el efecto del nivel socioeconómico. Schindler (2007) afirmó que una mayor riqueza implica otro conjunto de variables que afectan las puntuaciones de las pruebas. No obstante, a nivel de escuela, el promedio del nivel socioeconómico de los estudiantes tiene un efecto sumativo, que da cuenta de la condición bajo la cual opera la escuela. Como señalaron Karakolidis et al. (2016), los estudiantes con diferente nivel socioeconómico no cuentan con las mismas oportunidades de éxito, lo que refleja la inequidad del sistema educativo. Con base en esto, se puede concluir como primer hallazgo que, en México, en las tres competencias evaluadas, la variable a nivel de escuela que más aporta es el nivel socioeconómico medio de los planteles. Sin embargo, a nivel de estudiante las variables son distintas, sin que se encuentre una misma variable con el mayor peso explicativo en las tres competencias. Variables de proceso asociadas a la eficacia escolar. A nivel de estudiante, se identificaron variables de proceso relativas a acciones directas que el profesor realiza y que inciden en el nivel de logro, así como variables que inciden igualmente en el logro, pero que son afectadas indirectamente por las acciones del docente. En el primer caso encontramos, la variable Apoyo del profesor en las clases de ciencias, cuyo peso resultó negativo, lo que indica que los estudiantes que obtienen mayores puntuaciones en PISA reciben menor apoyo del profesor. Este resultado parece contradictorio con lo que la literatura ha informado (Bove et al., 2016). Sin embargo, existen dos posibles explicaciones al respecto. Por un lado, es posible que el Apoyo del profesor, sea más en un sentido constructivista, es decir, que no hay una ayuda directa por parte del profesor, sino que existe un proceso de andamiaje, que los estudiantes no perciben y por ende no reportan. La otra posible explicación es que el profesor brinda más apoyo a aquellos estudiantes que tienen más problemas de rendimiento, y que, por lo tanto, son los estudiantes con más bajas puntuaciones quienes más perciben este apoyo. Ambas explicaciones son plausibles, pero se requieren estudios más específicos Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 17 para poder determinarlo de forma certera. Una segunda variable vinculada a las acciones del profesor son las Estrategias de enseñanza dirigidas por el profesor (Anil, ,2011). Es decir, según los resultados, los docentes que ponen en práctica una enseñanza más tradicional, con directrices más específicas, propician en los estudiantes mejores niveles de logro. Esto indicaría que, en México, la estrategia de enseñanza que mejor funciona son aquellos métodos más dirigidos. Respecto a las variables de proceso reportadas por los estudiantes que no constituyen en sí mismas acciones del docente, pero que se ven afectadas por éste se encuentra, en primer lugar, el Interés de los estudiantes por las TIC, la cual no resulta extraña, pues ésta es una herramienta que les brinda la oportunidad de ampliar sus posibilidades de aprendizaje, además como se sabe ésta incide también en el fortalecimiento de los procesos cognitivos. No obstante, se encuentra un resultado contradictorio, pues la variable Nivel en el manejo de las TIC tiene un peso negativo, lo que indica que los estudiantes con menores niveles de manejo de las TIC tienen mejores resultados. La explicación posible a estos resultados es que un mayor manejo de las TIC podría indicar un probable uso desmedido de éstas, minimizando el uso de otras prácticas de búsqueda y análisis, que reducen la realización de procesos cognitivos más complejos. Sin embargo, es importante realizar estudios más profundos para poder explicar estos resultados de forma inequívoca. Otras variables de proceso identificadas en los estudiantes fueron el Disfrute de la ciencia, Valoración de la cooperación en el trabajo en grupo y Conciencia medioambiental. Para el caso de la primera, los resultados mostraron que los estudiantes que reportan mayor disfrute de la ciencia obtienen a su vez mayores puntuaciones. Este resultado resulta lógico, pues al ser una actividad de alta predilección hay probablemente mayor interés e implicación. Respecto a la Valoración de la cooperación del trabajo en grupo, esta variable mostró un peso negativo, indicando los estudiantes con mejores resultados prefieren más el trabajo individual. Es probable que este resultado se explique por el alto nivel de competitividad que pueden mostrar los estudiantes con alto nivel de logro, cuyas metas pueden verse afectadas al trabajar con estudiantes que no tengan los mismos niveles de logro que ellos. Finalmente, la variable Conciencia medioambiental tuvo un peso positivo. Es probable que la conciencia medioambiental se relacione a mayor reflexión de la situación del entorno, lo que a su vez se vincula a un mayor uso de procesos cognitivos superiores; es decir, probablemente los estudiantes con mayor conciencia ambiental sean a su vez estudiantes más analíticos y críticos. La información respecto a las variables de eficacia escolar obtenidas resulta en realidad pobre; poco es lo que se logró identificar respecto a lo que las escuelas, y particularmente los docentes, pueden hacer para incidir en el logro educativo de sus estudiantes; aunque estos resultados son compartidos por otros estudios como el de Quiroz et al. (2018). Únicamente la Participación de los profesores en la escuela, el Apoyo del profesor en las clases de ciencias y las Estrategias de enseñanza dirigidas por el profesor fueron las variables con peso explicativo sobre el nivel de logro. Sin embargo, resultados similares han sido obtenidos por otros autores, por ejemplo, Gamazo et al. (2018) concluyeron que las variables de proceso evaluadas en directores y docentes no inciden en el nivel de eficacia de las escuelas; explicando que las causas de estos resultados pueden ser de diversa naturaleza. Una de estas causas se centró en la probable deficiencia de los cuestionarios de contexto. Además, hay que tener en cuenta también la composición de la muestra (Darling-Hammond, 2014), pues el total de escuelas participantes no es representativo del total de planteles escolares, y tampoco es representativa por cada uno de los estados. También es probable, como mencionó Schindler (2007), que existan otras variables intervinientes que modulan los efectos de los resultados, y que probablemente no logren ser identificadas a partir de los análisis practicados. Por ello, es necesario llevar a cabo análisis complementarios que ayuden a identificar de mejor manera las variables explicativas del logro, por ejemplo, la minería de datos. Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 18 Por lo tanto, otras variables reportadas en la literatura como organización escolar, clima del aula, entre otras, no tienen en apariencia efecto alguno para el caso de México. No obstante, existen otras variables de proceso en las que los profesores pueden incidir, y que por lo tanto también implican el efecto indirecto sobre el logro. Tal fue el caso del Disfrute de las ciencias, la Valoración de la cooperación en el trabajo de grupo, el Interés y manejo de las TIC, cada una con diferente nivel y tipo de efecto. Estos resultados muestran la importancia de realizar un análisis particular, para el caso de México, de las variables que aportan al logro, por lo que la interpretación de los resultados de estudiantes mexicanos, y de cualquier otro país, debe hacerse a la luz del contexto y, en consecuencia, el diseño de políticas públicas no debe realizarse en un vacío, sino que ha de tener en cuenta lo que la investigación especifica con datos mexicanos aporta respecto a las variables explicativas del logro educativo. Reflexiones de los resultados sobre la política educativa. Como se mencionó antes, el objetivo del presente estudio fue conocer las variables explicativas del logro en PISA de estudiantes mexicanos, a fin no sólo de comprender los resultados, sino también de abonar a la discusión de las acciones y políticas educativas que pueden surgir a partir de ellos. A partir de los resultados expuestos y discutidos se puede concluir que, tal como ha sido planteado por otros autores, los resultados de PISA deben interpretarse en el marco de su realidad contextual. Como se mostró, en el análisis de los resultados en México, se encuentran diferencias respecto a las variables explicativas aportadas en estudios de otros países. En la realidad mexicana, los factores explicativos del logro educativo parecen estar asociados principalmente a variables contextuales, y particularmente al nivel socioeconómico medio de los planteles. Es decir, los planteles en donde la mayoría de los estudiantes tienen bajos niveles económicos y que, por lo tanto, se enfrentan a mayores carencias y trabajan en condiciones de más vulnerabilidad, son quienes obtienen resultados más bajos. Cierto es que hay variables contextuales del estudiante que también tienen incidencia, pero el peso del nivel socioeconómico medio de la escuela es la de mayor peso en las ecuaciones de las tres competencias evaluadas: Matemáticas, Lectura y Ciencias. México igual que otros países de Latinoamérica tiene una alta segregación escolar por nivel socioeconómico, lo que en este estudio resultó evidente en el peso que esta variable mostró, a nivel escuela. Sin lugar a dudas las variables implicadas en la escasez de recursos tienen un efecto importante en los resultados de México. Sin embargo, como aseveró Krüger (2017) hasta el momento la segregación no se visualiza como un tema prioritario en la definición de políticas educativas. No obstante, nos atrevemos a apuntar que, de acuerdo con nuestros resultados, no sólo se requieren políticas educativas que atiendan esta segregación, sino que se requieren políticas sociales que ayuden a mejorar los contextos de los estudiantes y particularmente de las escuelas; no se trata sólo de dotar de recursos, sino de crear una estructura de apoyo que incida en los efectos que la alta marginación produce en los sistemas sociales y escolares; este planteamiento es compartido por otros autores como Quiroz et al. (2018). Por lo tanto, los programas federales de impacto social deben ser fortalecidos, pues hay estudios como el de Deutsch et al. (2013) que han señalado su importancia en países de alta marginación como los latinoamericanos. Estos autores concluyeron que programas federales, como fue en su momento Progresa en México, en el que además de apoyar a las familias necesitadas se hacía un seguimiento para asegurar que los niños, sobre todo las niñas, fueran a la escuela, pueden tener un impacto importante en los contextos desfavorecidos y por ende en los resultados educativos. Este tipo de programas no deben desaparecer, sino que requieren fortalecerse, sobre todo en países como México, en los que este y otros estudios han concluido que la mejora en la calidad de las escuelas no tendrá gran impacto, sino se atienden los aspectos marginación (vg. Breton & Canavire-Bacarreza, 2017). Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 19 De hecho, los resultados del presente estudio mostraron que las variables procesuales de la escuela, es decir aquellas relacionadas con las prácticas escolares tuvieron muy poco valor explicativo sobre el logro de los estudiantes. Esto apunta a que, los programas sociales no sólo deben apoyar a las familias con carencias, sino también a las escuelas. Como se mostró, los estudiantes se ven afectados por el nivel socioeconómico medio de la escuela, es decir, un chico perteneciente a una familia marginada que acude a una escuela con alto nivel de marginación reduce aún más las oportunidades de lograr los objetivos de aprendizaje. Por lo tanto, los programas sociales no sólo se deben dirigir a las familias con mayores carencias sino también a las escuelas con mayores carencias que atienden precisamente a estos niños. De otra manera, las escuelas no lograran suavizar el efecto que los condicionamientos socioeconómicos y culturales tienen sobre el aprendizaje escolar (Quiroz et al., 2018). Como señalamos antes, no únicamente se trata de dotar de recursos a las escuelas, sino de diseñar toda una estructura de apoyo y acompañamiento que verdaderamente garantice que se está logrando mejorar las condiciones de operación de éstas. Esto lleva a recuperar los planteamientos de otros autores quienes atizan al mencionar que México debe voltear a ver hacia adentro, no hacía afuera. Es decir, se debe abandonar el desarrollo de políticas enfocadas en mejorar los rankings, y enfocarse más en las condiciones del sistema educativo y de los estudiantes que forman parte de ese sistema. Si bien la comparación con otros países es útil, no debe considerarse como la fuente principal para el diseño de políticas públicas. Las autoridades deben prestar más atención a lo que estudios, como el que aquí se presenta, muestran, y menos en la competencia contra países en los que las condiciones educativas y sociales son tan diferentes. Es muy claro que lo que PISA aporta principalmente es información sobre las inequidades de los sistemas educativos, y por lo tanto es hacia esas inequidades que deben dirigirse los esfuerzos. Por último, cabe exponer algunas limitaciones de los análisis presentados en este artículo, las cuales es necesario conocer para realizar una correcta interpretación de los resultados. Como ya se mencionó anteriormente, PISA es una prueba muestral, por lo que no recoge información de todos los sujetos que componen el grupo de interés, aunque sus procedimientos técnicos garantizan la representatividad de la población y por tanto su idoneidad para la realización de análisis inferenciales. Por otro lado, diversos autores refieren limitaciones metodológicas en el uso de los datos de PISA debido a su carácter transversal y a la falta de datos sobre el rendimiento previo de los estudiantes, cuestiones que exigen cautela a la hora de interpretar los resultados de estos análisis (Han, 2018; Rutkowski, Rutkowski, Wild & Burroughs, 2017). Referencias Anil, D. (2011). Investigation of factors influencing Turkey’s PISA 2006 science achievement with structural equation modelling. Educational Sciences: Theory & Practice, 11(3), 1261-1266. Disponible en https://files.eric.ed.gov/fulltext/EJ936309.pdf Arikan, S. (2014). A regression model with a new tool: IDB analyzer for identifying factors predicting mathematics performance using PISA 2012 indices. US-China Education Review, 4(1), 716-727. Disponible en https://files.eric.ed.gov/fulltext/ED573050.pdf Bove, G., Marella, D., & Vitale, V. (2016). Influences of school climate and teacher's behavior on student's competencies in mathematics and the territorial gap between italian macro-areas in PISA 2012. Journal of Educational, Cultural and Psychological Studies, 13, 63-96. http://doi.org/10.7358/ecps-2016-013-bove Breton, T. R., & Canavire-Bacarreza, G. (2017). Low test scores in Latin America: Poor schools, poor families or something else? Compare: A Journal of Comparative and International Education. http://dx.doi.org/10.1080/03057925.2017.1342530 https://files.eric.ed.gov/fulltext/EJ936309.pdf https://files.eric.ed.gov/fulltext/ED573050.pdf http://doi.org/10.7358/ecps-2016-013-bove http://dx.doi.org/10.1080/03057925.2017.1342530 Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 20 Burhan, N. A. S., Yunus, M. M., Labastida, M. E., & Burhan, N. M. G. (2016). Why are cognitive abilites of children so different across countries? The link between major socioeconomic factors and PISA test scores. Personality and Individual Differencies, 105, 95–106. Disponible en https://mpra.ub.uni-muenchen.de/77239/ Camminatiello, I., Paletta, A., & Speziale, M. T. (2012). The effects of school-based management and standards-based accountability on student achievement: Evidence from PISA 2016. Electronic Journal of Applied Statistical Analysis, 5(3), 381-386. http://dx.doi.org/10.1285/i20705948v5n3p381 Choi, Á., & Calero, J. (2013). Determinantes del riesgo de fracaso escolar en España en PISA-2009 y propuestas de reforma. Revista De Educación, 362, 562-593. http://dx.doi.org/10.4438/1988-592X-RE-2013-362-242 Darling-Hammond, L. (2014). What can PISA tell us about U.S. education policy? New England Journal of Public Policy, 26(4), 1-14. Disponible en https://edpolicy.stanford.edu/sites/default/files/publications/what-can-pisa-tell-us-about- us-education-policy.pdf Deutsch, J., Dumas, A., & Silber, J. (2013). Estimating an educational production function for five countries of Latin America on the basis of the PISA data. Economics of Education Review, 36, 245–262. http://dx.doi.org/10.1016/j.econedurev.2013.07.005 Diario Oficial de la Federación. (13 de diciembre de 2013). Programa Sectorial de Educación 2013- 2018. Disponible en http://dof.gob.mx/nota_detalle_popup.php?codigo=5326569 Ehmke, T., Drechsel, B., & Carstensen, C. H. (2008). Klassenwiederholen in PISA-I-plus: Was lernen sitzenbleiber inmathematik dazu? Zeitschrift Für Erziehungswissenschaft, 11(3), 368-387. http://dx.doi.org/10.1007/s11618-008-0033-3 Gamazo, A., Martínez-Abad, F., Olmos-Miguelañez, S., & Rodríguez-Conde, M. J. (2018). Evaluación de factores relacionados con la eficacia escolar en PISA 2015. Un análisis multinivel. Revista de Educación, 379, 56-84. http://dx.doi.org/10.4438/1988-592X-RE-2017-379-369 Gamboa, L. F., & Domingues, W. F. (2015). Measuring inequality of opportunity in education by combining information on coverage and achievement in PISA. Educational Assessment, 20, 320–337. https://doi.org/10.1080/10627197.2015.1093926 Giménez, G., & Castro, G. (2017). ¿Por qué los estudiantes de colegios públicos y privados de Costa Rica obtienen distintos resultados académicos? Perfiles Latinoamericanos, 25(49), 195-221. Disponible en http://perfilesla.flacso.edu.mx/index.php/perfilesla/article/view/841 González-Such, J., Sáncho-Álvarez, C., & Sánchez-Delgado, P. (2016). Cuestionarios de contexto PISA: un estudio sobre los indicadores de evaluación. Revista Electrónica de Investigación y Evaluación Educativa, 22(1), 1-26. Disponible en https://www.redalyc.org/html/916/91649056003/ Han, S. W. (2018). School-based teacher hiring and achievement inequality: A comparative perspective. International Journal of Educational Development, 61, 82-91. https://doi.org/10.1016/j.ijedudev.2017.12.004 INEE. (2017). México en PISA 2015. México: Autor. Jiménez, J. A. (2018). México en PISA 2015: Desaciertos de su aplicación por medios computarizados. Revista Mexicana de Investigación Educativa, 23(78), 711-731. Disponible en http://www.comie.org.mx/revista/v2018/rmie/index.php/nrmie/article/view/1173/1156 Joaristi, L., Lizasoain, L., & Azpillaga, V. (2014). Detección y caracterización de los centros escolares de alta eficacia de la Comunidad Autónoma del País Vasco mediante Modelos Transversales Contextualizados y Modelos Jerárquicos Lineales. Estudios sobre la Educación, 27, 37-61. https://doi.org/10.15581/004.27.37-61 https://mpra.ub.uni-muenchen.de/77239/ http://dx.doi.org/10.1285/i20705948v5n3p381 http://dx.doi.org/10.4438/1988-592X-RE-2013-362-242 https://edpolicy.stanford.edu/sites/default/files/publications/what-can-pisa-tell-us-about-us-education-policy.pdf https://edpolicy.stanford.edu/sites/default/files/publications/what-can-pisa-tell-us-about-us-education-policy.pdf http://dx.doi.org/10.1016/j.econedurev.2013.07.005 http://dof.gob.mx/nota_detalle_popup.php?codigo=5326569 https://doi.org/10.1007/s11618-008-0033-3 http://dx.doi.org/10.4438/1988-592X-RE-2017-379-369 https://doi.org/10.1080/10627197.2015.1093926 http://perfilesla.flacso.edu.mx/index.php/perfilesla/article/view/841 https://www.redalyc.org/html/916/91649056003/ https://doi.org/10.1016/j.ijedudev.2017.12.004 http://www.comie.org.mx/revista/v2018/rmie/index.php/nrmie/article/view/1173/1156 https://doi.org/10.15581/004.27.37-61 Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 21 Jorge-Moreno, J. (2016). Factores explicativos del rendimiento escolar en Latinoamérica con datos PISA 2009. Revista de Métodos Cuantitativos para la Economía y la Empresa, (22), 216-229. Disponible en https://www.upo.es/revistas/index.php/RevMetCuant/article/view/2348 Karakolidis, A., Pitsia, V., & Emvalotis, A. (2016). Mathematics low achievement in Greece: A multilevel analysis of the programme for international student assessment (PISA) 2012 Data. Themes in Science and Technology Education, 9(1), 3-24. Disponible en https://files.eric.ed.gov/fulltext/EJ1130922.pdf Kasapoglu, K. (2014). A logistic regression analysis of Turkey’s 15-year-olds’ scoring above the OECD average on the PISA’09 reading assessment. Educational Sciences: Theory & Practice, 14(2), 649-667. https://doi.org/10.12738/estp.2014.2.1744 Krüger, N. (2017, noviembre). El panorama de la segregación social escolar en América Latina según PISA 2015. Conferencia presentada en la LII Reunión Anual de la AAEP. Universidad Nacional de La Plata, Buenos Aires. Lee, V. E. (2000). Using hierarchical linear modeling to study social contexts: The case of school effects. Educational Psychologist; 35(2), 125-141. https://doi.org/10.1207/S15326985EP3502_6 Márquez-Jiménez, A. (2017). A 15 años de PISA: Resultados y polémicas. Perfiles Educativos Editorial Universidad Nacional Autónoma de México, 39(156), 1-15. https://doi.org/10.22201/iisue.24486167e.2017.156.58280 Martínez-Abad, F., Lizasoain, L., Castro, M., & Joaristi L. M. (2017). Selección de escuelas de alta y baja eficacia en Baja California (México). Revista Electrónica de Investigación Educativa, 19(2), 38- 53. https://doi.org/10.24320/redie.2017.19.2.960 Martínez-Rizo, F. (2005). Evitemos lecturas sensacionalistas sin cerrar los ojos. Revista Mexicana de Investigación Educativa, 10(24), 231-241. Disponible en http://www.comie.org.mx/revista/v2018/rmie/index.php/nrmie/article/view/759/759 Martínez-Rizo, F. (2016). Impacto de las pruebas en gran escala en contextos de débil tradición técnica: Experiencia de México y el Grupo Iberoamericano de PISA. RELIEVE, 22(1), 1- 12. Disponible en https://ojs.uv.es/index.php/RELIEVE/article/view/8244/8313 Martínez-Rizo, F., & Silva-Guerrero, J. E. (2016). Impact of largescale assessment on Mexico’s education policies. Research Papers in Education. https://doi.org/10.1080/02671522.2016.1225352 Murillo, F. J. (2005). La Investigación sobre Eficacia Escolar. Barcelona: Octaedro Nieto, S., & Recamán, A. (2011). Interpretación de los sistemas educativos mediante análisis de conglomerados vinculados a algunas variables de los Informes PISA-2006. Revista Española de Pedagogía, 69(250), 463-484. Disponible en https://revistadepedagogia.org/lxix/no- 250/interpretacion-de-los-sistemas-educativos-mediante-analisis-de-conglomerados- vinculados-a-algunas-variables-de-los-informes-pisa-2006/101400010208/ Organización para la Cooperación y Desarrollo Económico (OCDE). (2016). Programa para la evaluación internacional de alumnos (PISA): PISA 2015 Resultados México. México, OCDE. Disponible en https://www.oecd.org/pisa/PISA-2015-Mexico-ESP.pdf Ortiz, I. (2013). Trayectorias sociales improbables: adolescentes chilenos de estratos bajos competentes en lectura. Perfiles Latinoamericanos, 42, 7-30. Disponible en https://www.redalyc.org/articulo.oa?id=11527638001 Özdemir, C. (2016). Equity in the Turkish education system: A multilevel analysis of social background influences on the mathematics performance of 15-year-old students. European Educational Research Journal, 15(2), 193-217. https://doi.org/10.1177%2F1474904115627159 https://www.upo.es/revistas/index.php/RevMetCuant/article/view/2348 https://files.eric.ed.gov/fulltext/EJ1130922.pdf https://doi.org/10.12738/estp.2014.2.1744 https://doi.org/10.1207/S15326985EP3502_6 https://doi.org/10.22201/iisue.24486167e.2017.156.58280 https://doi.org/10.24320/redie.2017.19.2.960 http://www.comie.org.mx/revista/v2018/rmie/index.php/nrmie/article/view/759/759 https://ojs.uv.es/index.php/RELIEVE/article/view/8244/8313 https://doi.org/10.1080/02671522.2016.1225352 https://revistadepedagogia.org/lxix/no-250/interpretacion-de-los-sistemas-educativos-mediante-analisis-de-conglomerados-vinculados-a-algunas-variables-de-los-informes-pisa-2006/101400010208/ https://revistadepedagogia.org/lxix/no-250/interpretacion-de-los-sistemas-educativos-mediante-analisis-de-conglomerados-vinculados-a-algunas-variables-de-los-informes-pisa-2006/101400010208/ https://revistadepedagogia.org/lxix/no-250/interpretacion-de-los-sistemas-educativos-mediante-analisis-de-conglomerados-vinculados-a-algunas-variables-de-los-informes-pisa-2006/101400010208/ https://www.oecd.org/pisa/PISA-2015-Mexico-ESP.pdf https://www.redalyc.org/articulo.oa?id=11527638001 https://doi.org/10.1177%2F1474904115627159 Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 22 Quesada-García, J., & Martínez-Rodríguez, F. (2010). PISA y las metas sectoriales de la SEP. Revista Latinoamericana de Estudios Educativos, 40(3-4), 241-255. Disponible en https://www.redalyc.org/articulo.oa?id=27018888009 Quiroz, S. S., Dari, N. L., & Cervini, R. A. (2018). Nivel socioeconómico y brecha entre educación secundaria pública y privada en Argentina. Los datos de PISA 2015. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 16(4), 79-97. https://doi.org/10.15366/reice2018.16.4.005 Raudenbush, S. W., Bryk, A. S., Cheong, Y. F., Congdon, R., & Du Toit, M. (2011). Hierarchical linear and nonlinear modeling (HLM7). Lincolnwood, IL: Scientific Software International. Rodríguez, R. (2005). México en los resultados de PISA 2003. Revista Mexicana de Investigación Educativa, 10(24), 255-266. Disponible en http://www.comie.org.mx/v1/revista/visualizador.php?articulo=ART00120&criterio=http: //www.comie.org.mx/documentos/rmie/v10/n24/pdf/rmiev10n24scF00n06es.pdf Rutkowski, D. (2015). The OECD and the local: PISA-based test for schools in the USA. Discourse: Studies in the Cultural Politics of Education, 36(5), 683-699. https://doi.org/10.1080/01596306.2014.943157 Rutkowski, D., Rutkowski, L., Wild, J., & Burroughs, N. (2018). Poverty and educational achievement in the US: A less-biased estimate using PISA 2012 data. Journal of Children and Poverty, 24(1), 47-67. https://doi.org/10.1080/10796126.2017.1401898 Schindler, B. (2007). School composition effects in Denmark: Quantile regression evidence from PISA 2000. Empirical Economics, 33(2), 359-388. https://doi.org/ 10.1007/978-3-7908-2022- 5_9 Snijders, T., & Bosker, R. (2012). Multilevel analysis: An introduction to basic and advanced multilevel modeling (2nd ed.). London: Sage Publications. Solano-Flores, G., & Milbourn, T. (2016). Capacidad evaluativa, validez cultural y validez consecuencial en PISA. RELIEVE, 22(1), 1-16. https://doi.org/10.7203/relieve.22.1.8281 Stoet, G., & Geary, D. (2013). Sex differences in mathematics and reading achievement are inversely related: Within-and across-nation assessment of 10 years of PISA data. PLoS ONE 8(3), e57988. https://doi.org/10.1371/journal.pone.0057988 Usta, G. (2016). Analysis of student and school level variables Related to Mathematics Self-Efficacy Level Based on PISA 2012 Results for China-Shanghai, Turkey, and Greece. Educational Sciencies: Theory & Practice, 16(4), 1297-1323. https://doi.org/10.12738/estp.2016.4.0283 Varela Llamas, R., Ocegueda Hernández, J. M., & Castillo Ponce, R. A. (2017). Migración interna en México y causas de su movilidad. Perfiles latinoamericanos, 25(49), 141-167. Disponible en http://www.redalyc.org/articulo.oa?id=11549647007 Vega, L., Hernández, J. C., & García, E. (2016). PISA as a political tool in Spain: Assessment instrument, academic discourse and political reform. European Education, 48(2), 89-103. https://doi.org/10.1080/10564934.2016.1185685 Woitschach, P., Fernández, R., Martínez, R., & Muñiz, J. (2017). Influencia de los centros escolares sobre el rendimiento académico en Latinoamérica. Revista de Psicología y Educación, 12(2), 138- 154. https://doi.org/10.23923/rpye2017.12.152 https://www.redalyc.org/articulo.oa?id=27018888009 https://doi.org/10.15366/reice2018.16.4.005 http://www.comie.org.mx/v1/revista/visualizador.php?articulo=ART00120&criterio=http://www.comie.org.mx/documentos/rmie/v10/n24/pdf/rmiev10n24scF00n06es.pdf http://www.comie.org.mx/v1/revista/visualizador.php?articulo=ART00120&criterio=http://www.comie.org.mx/documentos/rmie/v10/n24/pdf/rmiev10n24scF00n06es.pdf https://doi.org/10.1080/01596306.2014.943157 https://doi.org/10.1080/10796126.2017.1401898 file:///C:/Users/ssmcb/Dropbox%20(ASU)/v28%202020/.%20https:/doi.org/%2010.1007/978-3-7908-2022-5_9 file:///C:/Users/ssmcb/Dropbox%20(ASU)/v28%202020/.%20https:/doi.org/%2010.1007/978-3-7908-2022-5_9 https://doi.org/10.7203/relieve.22.1.8281 https://doi.org/10.1371/journal.pone.0057988 https://doi.org/10.12738/estp.2016.4.0283 http://www.redalyc.org/articulo.oa?id=11549647007 https://doi.org/10.1080/10564934.2016.1185685 https://doi.org/10.23923/rpye2017.12.152 Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 23 Sobre las Autoras Alicia Alelí Chaparro Caso López Universidad Autónoma de Baja California achaparro@uabc.edu.mx Doctora en Psicología por la Universidad Nacional Autónoma de México. Investigadora del Instituto de Investigación y Desarrollo Educativo (IIDE) de la Universidad Autónoma de Baja California (UABC). Miembro del Sistema Nacional de Investigadores (SNI). Sus líneas de investigación se centran en la evaluación educativa, eficacia escolar y convivencia escolar. ORCID: https://orcid.org/0000-0002-0923-8176 Adriana Gamazo Universidad de Salamanca adrianagamazo@usal.es Licenciada en Psicología por la Universidad de Oviedo, y Licenciada en Psicopedagogía y Doctora en Educación por la Universidad de Salamanca. Miembro del Instituto Universitario de Ciencias de la Educación (IUCE) y del Grupo de Investigación Group of Interaction And e- Learning (GRIAL). Sus líneas de investigación están centradas en la evaluación educativa , los métodos de investigación en educación y el análisis de datos procedentes de evaluaciones a gran escala. ORCID: https://orcid.org/0000-0002-7523-9484 archivos analíticos de políticas educativas Volumen 28 Número 26 17 de febrero 2020 ISSN 1068-2341 Los/as lectores/as pueden copiar, mostrar, distribuir, y adaptar este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, los cambios se identifican y la misma licencia se aplica al trabajo derivada. Más detalles de la licencia de Creative Commons se encuentran en https://creativecommons.org/licenses/by/4.0/. Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. La sección en español para Sud América de AAPE/EPAA es publicada por el Mary Lou Fulton Teachers College, Arizona State University y la Universidad de San Andrés de Argentina. Los artículos que aparecen en AAPE son indexados en CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). Por errores y sugerencias contacte a Fischman@asu.edu Síganos en EPAA’s Facebook comunidad at https://www.facebook.com/EPAAAAPE y en Twitter feed @epaa_aape. https://orcid.org/0000-0002-0923-8176 https://orcid.org/0000-0002-7523-9484 https://creativecommons.org/licenses/by/4.0/ http://www.doaj.org/ http://www.doaj.org/ https://www.facebook.com/EPAAAAPE Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 24 archivos analíticos de políticas educativas consejo editorial Editor Consultor: Gustavo E. Fischman (Arizona State University) Editores Asociados: Felicitas Acosta (Universidad Nacional de General Sarmiento), Armando Alcántara Santuario (Universidad Nacional Autónoma de México), Ignacio Barrenechea, Jason Beech ( Universidad de San Andrés), Angelica Buendia, (Metropolitan Autonomous University), Alejandra Falabella (Universidad Alberto Hurtado, Chile), Veronica Gottau (Universidad Torcuato Di Tella), Carolina Guzmán-Valenzuela (Universidade de Chile), Cesar Lorenzo Rodriguez Uribe (Universidad Marista de Guadalajara), Antonio Luzon, (Universidad de Granada), María Teresa Martín Palomo (University of Almería), María Fernández Mellizo-Soto (Universidad Complutense de Madrid), Tiburcio Moreno (Autonomous Metropolitan University-Cuajimalpa Unit), José Luis Ramírez, (Universidad de Sonora), Paula Razquin, Axel Rivas (Universidad de San Andrés), Maria Veronica Santelices (Pontificia Universidad Católica de Chile) Claudio Almonacid Universidad Metropolitana de Ciencias de la Educación, Chile Ana María García de Fanelli Centro de Estudios de Estado y Sociedad (CEDES) CONICET, Argentina Miriam Rodríguez Vargas Universidad Autónoma de Tamaulipas, México Miguel Ángel Arias Ortega Universidad Autónoma de la Ciudad de México Juan Carlos González Faraco Universidad de Huelva, España José Gregorio Rodríguez Universidad Nacional de Colombia, Colombia Xavier Besalú Costa Universitat de Girona, España María Clemente Linuesa Universidad de Salamanca, España Mario Rueda Beltrán Instituto de Investigaciones sobre la Universidad y la Educación, UNAM, México Xavier Bonal Sarro Universidad Autónoma de Barcelona, España Jaume Martínez Bonafé Universitat de València, España José Luis San Fabián Maroto Universidad de Oviedo, España Antonio Bolívar Boitia Universidad de Granada, España Alejandro Márquez Jiménez Instituto de Investigaciones sobre la Universidad y la Educación, UNAM, México Jurjo Torres Santomé, Universidad de la Coruña, España José Joaquín Brunner Universidad Diego Portales, Chile María Guadalupe Olivier Tellez, Universidad Pedagógica Nacional, México Yengny Marisol Silva Laya Universidad Iberoamericana, México Damián Canales Sánchez Instituto Nacional para la Evaluación de la Educación, México Miguel Pereyra Universidad de Granada, España Ernesto Treviño Ronzón Universidad Veracruzana, México Gabriela de la Cruz Flores Universidad Nacional Autónoma de México Mónica Pini Universidad Nacional de San Martín, Argentina Ernesto Treviño Villarreal Universidad Diego Portales Santiago, Chile Marco Antonio Delgado Fuentes Universidad Iberoamericana, México Omar Orlando Pulido Chaves Instituto para la Investigación Educativa y el Desarrollo Pedagógico (IDEP) Antoni Verger Planells Universidad Autónoma de Barcelona, España Inés Dussel, DIE-CINVESTAV, México José Ignacio Rivas Flores Universidad de Málaga, España Catalina Wainerman Universidad de San Andrés, Argentina Pedro Flores Crespo Universidad Iberoamericana, México Juan Carlos Yáñez Velazco Universidad de Colima, México javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/816') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/819') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/820') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/4276') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/1609') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/825') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/797') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/823') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/798') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/555') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/814') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/2703') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/801') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/826') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/802') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/3264') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/804') Estudio Multinivel sobre las Variables Explicativas de los Resultados de México en PISA 2015 25 education policy analysis archives editorial board Lead Editor: Audrey Amrein-Beardsley (Arizona State University) Editor Consultor: Gustavo E. Fischman (Arizona State University) Associate Editors: David Carlson, Lauren Harris, Eugene Judson, Mirka Koro-Ljungberg, Scott Marley, Molly Ott, Iveta Silova (Arizona State University) Cristina Alfaro San Diego State University Amy Garrett Dikkers University of North Carolina, Wilmington Susan L. Robertson Bristol University Gary Anderson New York University Gene V Glass Arizona State University Gloria M. Rodriguez University of California, Davis Michael W. Apple University of Wisconsin, Madison Ronald Glass University of California, Santa Cruz R. Anthony Rolle University of Houston Jeff Bale OISE, University of Toronto, Canada Jacob P. K. Gross University of Louisville A. G. Rud Washington State University Aaron Bevanot SUNY Albany Eric M. Haas WestEd Patricia Sánchez University of University of Texas, San Antonio David C. Berliner Arizona State University Julian Vasquez Heilig California State University, Sacramento Janelle Scott University of California, Berkeley Henry Braun Boston College Kimberly Kappler Hewitt University of North Carolina Greensboro Jack Schneider University of Massachusetts Lowell Casey Cobb University of Connecticut Aimee Howley Ohio University Noah Sobe Loyola University Arnold Danzig San Jose State University Steve Klees University of Maryland Jaekyung Lee SUNY Buffalo Nelly P. Stromquist University of Maryland Linda Darling-Hammond Stanford University Jessica Nina Lester Indiana University Benjamin Superfine University of Illinois, Chicago Elizabeth H. DeBray University of Georgia Amanda E. Lewis University of Illinois, Chicago Adai Tefera Virginia Commonwealth University Chad d'Entremont Rennie Center for Education Research & Policy Chad R. Lochmiller Indiana University Tina Trujillo University of California, Berkeley John Diamond University of Wisconsin, Madison Christopher Lubienski Indiana University Federico R. Waitoller University of Illinois, Chicago Matthew Di Carlo Albert Shanker Institute Sarah Lubienski Indiana University Larisa Warhol University of Connecticut Sherman Dorn Arizona State University William J. Mathis University of Colorado, Boulder John Weathers University of Colorado, Colorado Springs Michael J. Dumas University of California, Berkeley Michele S. Moses University of Colorado, Boulder Kevin Welner University of Colorado, Boulder Kathy Escamilla University of Colorado, Boulder Julianne Moss Deakin University, Australia Terrence G. Wiley Center for Applied Linguistics Yariv Feniger Ben-Gurion University of the Negev Sharon Nichols University of Texas, San Antonio John Willinsky Stanford University Melissa Lynn Freeman Adams State College Eric Parsons University of Missouri-Columbia Jennifer R. Wolgemuth University of South Florida Rachael Gabriel University of Connecticut Amanda U. Potterton University of Kentucky Kyo Yamashiro Claremont Graduate University Archivos Analíticos de Políticas Educativas Vol. 28, No. 26 26 arquivos analíticos de políticas educativas conselho editorial Editor Consultor: Gustavo E. Fischman (Arizona State University) Editoras Associadas: Andréa Barbosa Gouveia (Universidade Federal do Paraná), Kaizo Iwakami Beltrao, (Brazilian School of Public and Private Management - EBAPE/FGVl), Sheizi Calheira de Freitas (Federal University of Bahia), Maria Margarida Machado, (Federal University of Goiás / Universidade Federal de Goiás), Gilberto José Miranda, (Universidade Federal de Uberlândia, Brazil), Marcia Pletsch, Sandra Regina Sales (Universidade Federal Rural do Rio de Janeiro) Almerindo Afonso Universidade do Minho Portugal Alexandre Fernandez Vaz Universidade Federal de Santa Catarina, Brasil José Augusto Pacheco Universidade do Minho, Portugal Rosanna Maria Barros Sá Universidade do Algarve Portugal Regina Célia Linhares Hostins Universidade do Vale do Itajaí, Brasil Jane Paiva Universidade do Estado do Rio de Janeiro, Brasil Maria Helena Bonilla Universidade Federal da Bahia Brasil Alfredo Macedo Gomes Universidade Federal de Pernambuco Brasil Paulo Alberto Santos Vieira Universidade do Estado de Mato Grosso, Brasil Rosa Maria Bueno Fischer Universidade Federal do Rio Grande do Sul, Brasil Jefferson Mainardes Universidade Estadual de Ponta Grossa, Brasil Fabiany de Cássia Tavares Silva Universidade Federal do Mato Grosso do Sul, Brasil Alice Casimiro Lopes Universidade do Estado do Rio de Janeiro, Brasil Jader Janer Moreira Lopes Universidade Federal Fluminense e Universidade Federal de Juiz de Fora, Brasil António Teodoro Universidade Lusófona Portugal Suzana Feldens Schwertner Centro Universitário Univates Brasil Debora Nunes Universidade Federal do Rio Grande do Norte, Brasil Lílian do Valle Universidade do Estado do Rio de Janeiro, Brasil Geovana Mendonça Lunardi Mendes Universidade do Estado de Santa Catarina Alda Junqueira Marin Pontifícia Universidade Católica de São Paulo, Brasil Alfredo Veiga-Neto Universidade Federal do Rio Grande do Sul, Brasil Flávia Miller Naethe Motta Universidade Federal Rural do Rio de Janeiro, Brasil Dalila Andrade Oliveira Universidade Federal de Minas Gerais, Brasil