Cambios en las prácticas de liderazgo escolar bajo un sistema de accountability: El caso de Chile Página web: http://epaa.asu.edu/ojs/ Artículo recibido: 15-6-2020 Facebook: /EPAAA Revisiones recibidas: 26-7-2021 Twitter: @epaa_aape Aceptado: 26-7-2021 archivos analíticos de políticas educativas Revista académica evaluada por pares, independiente, de acceso abierto y multilingüe Universidad de San Andrés y Arizona State University Volumen 29 Número 153 15 de noviembre 2021 ISSN 1068-2341 Cambios en las Prácticas de Liderazgo Escolar bajo un Sistema de Accountability: El Caso de Chile Jorge Rojas Bravo Universidad de Concepción Chile & Diego Carrasco Ogaz Pontificia Universidad Católica de Chile Chile Citación: Rojas, J., & Carrasco, D. (2021). Cambios en las prácticas de liderazgo escolar bajo un sistema de accountability: El caso de Chile. Archivos Analíticos de Políticas Educativas, 29(153). https://doi.org/10.14507/epaa.29.5673 Resumen: Los sistemas de rendiciones de cuenta han sido una política educativa orientada para la mejora escolar. Bajo este contexto, el estudio examina los cambios en dos prácticas de liderazgo escolar con la introducción de la política de rendiciones de cuenta en Chile. Considerando las respuestas de los docentes de matemáticas de cuarto básico, se construyen dos escalas para evaluar las prácticas de monitoreo académico y apoyo docente implementado por los líderes escolares entre el 2009 al 2012. Desde un análisis multinivel se evaluó los cambios de prácticas de liderazgo considerando el contexto de rendimiento académico y vulnerabilidad social de las escuelas. Los resultados indican que se produjo un cambio significativo en el monitoreo académico bajo la política de accountability no así el apoyo docente realizado por los directivos. Las implicancias de estos resultados indican que el monitoreo académico se normaliza en las escuelas, especialmente en las que no estaban realizando monitoreo, aunque sin afectar el apoyo profesional docente quedando en dudas el apoyo pedagógico y la sustentabilidad de los impactos de la política de rendiciones de cuenta. http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.29.5673 Archivos Analíticos de Políticas Educativas Vol. 29, No. 153 2 Palabras clave: política educativa; apoyo docente; monitoreo académico; liderazgo; rendiciones de cuenta Changes in school leadership practices under an accountability system: The case of Chile Abstract: Accountability systems have been educational policies oriented towards school improvement. In this context, the present study examines the changes in two school leadership practices with the introduction of the accountability policy in Chile. Taking into account the responses of the fourth-grade math teachers, two scales were divised to evaluate the academic monitoring and teacher support practices implemented by school leaders between 2009 and 2012. From a multilevel analysis, changes in leadership practices were evaluated considering the context of academic performance and social vulnerability of the schools. The results show a significant change in academic monitoring under the accountability policy, but not the teaching support provided by the administrators. The implications of these results indicate that academic monitoring is normalized in schools, especially in those that were not conducting monitoring, although without affecting professional teacher support, leaving doubts about the pedagogical support and the sustainability of the accountability policy. Key words: policy analysis; teacher support; academic monitoring; leadership; accountability Mudanças nas práticas de liderança escolar sob um sistema de accountability: O caso do Chile Resumo: Os sistemas de responsabilização ou accountability têm sido uma política educacional orientada para a melhoria da escola. Nesse contexto, o estudo examina as mudanças em duas práticas de liderança escolar com a introdução da política de responsabilização no Chile. Considerando as respostas dos professores de matemática da quarta série, duas escalas são construídas para avaliar o acompanhamento acadêmico e as práticas de apoio ao professor implementadas pelos dirigentes escolares entre 2009 e 2012. A partir de uma análise multinível, as mudanças nas práticas de liderança foram avaliadas considerando o contexto de desempenho acadêmico e vulnerabilidade social das escolas. Os resultados indicam que houve uma mudança significativa no monitoramento acadêmico no âmbito da política de responsabilização, e não no apoio pedagógico fornecido pelos diretores. As implicações desses resultados indicam que o monitoramento acadêmico é normalizado nas escolas, principalmente naquelas que não faziam monitoramento, embora sem afetar o apoio docente profissional, deixando dúvidas sobre o apoio pedagógico e a sustentabilidade dos impactos da accountability. Palavras-chave: análise de políticas; apoio pedagógico; monitoramento académico; responsabilidade; accountability Cambios en las prácticas de liderazgo escolar bajo un sistema de accountability 3 Cambios en las Prácticas de Liderazgo Escolar bajo un Sistema de Accountability: El Caso de Chile Los sistemas de rendiciones de cuenta son un conjunto de mecanismos de evaluación vinculados a consecuencias para establecer estándares y objetivos. Con este conjunto de mecanismos se busca asegurar el cumplimiento de las obligaciones que el sistema a dispuesto (Gándara y Randall, 2015). Si bien es discutible el éxito de estos sistemas para producir la mejora escolar, también se reconoce la dificultad de evaluar las diferentes relaciones complejas esperadas en el sistema escolar. Variada literatura ha puesto de relieve, que los sistemas de rendiciones de cuentas con altas consecuencias tienden a reducir el currículum al focalizarse en ciertas materias, a generar comportamientos tácticos de los actores, por ejemplo, enseñar para el test, y generar estrés y una conducta de desconfianza (Ball, 2003; Ball y Olmedo, 2013; McCarthy y Lambert, 2006; Minarechová, 2012; Noddings, 2013; Pandya, 2011; Ravitch, 2010; Taubman, 2009; West, 2010; Wrigley et al., 2012). El éxito o fracaso de los sistemas de rendiciones de cuenta dependen largamente de las características de los propios sistemas educativos, especialmente, las capacidades de liderazgo en las escuelas para adoptar e implementar una política (Gándara y Randall, 2015; Hallinger y Ko, 2015). El liderazgo escolar, en particular, es considerado el segundo factor intra-escuela más importante para la mejora escolar luego de los profesores (Day et al., 2009; Horn, 2013; Leithwood et al., 2004; Robinson y Timperley, 2007). Si bien su impacto es indirecto en los aprendizajes de los estudiantes, si tiene un impacto directo en cómo se aplica la política pública (Coburn, 2005), estableciendo metas compartidas de mejora escolar (Day et al., 2011; Leithwood et al., 2020) procurando el foco pedagógico de la acción educativa (Elmore, 2014; Leithwood et al., 2020; Robinson, 2018) y generando las condiciones para el desarrollo profesional docente (Leithwood y Jantzi, 2006; Robinson et al., 2008). Dado que la literatura ha consignado que las prácticas de liderazgo escolar efectivas son contextuales (Hallinger et al., 2015; Leithwood et al., 2006), es importante aportar con estudios empíricos capaces de contribuir a los hallazgos internacionales desde contextos regionales diferentes (Hallinger y Ko, 2015). El sistema educativo chileno es un interesante caso de estudio, sobre todo para los países que buscan expandir la lógica de mercado y los procesos de rendiciones de cuenta. Chile representa un caso con un sistema de voucher universal (Portales, 2012; Quaresma y Valenzuela, 2017; Rojas-Bravo, 2017) con el potencial de superar las restricciones teóricas y empíricas de la introducción parcial de procesos de cuasi-mercado educativos (Verger et al.., 2016) que intensifican procesos de rendiciones de cuenta y demanda de resultados a los líderes escolares (Montecinos et al., 2015). En este artículo se exploran dos prácticas de liderazgo que la literatura ha relevado como importante para los líderes escolares como son el monitoreo académico (Hallinger y Heck, 1996; Sun y Leithwood 2015; Water et al., 2003) y el desarrollo profesional docente (Leithwood y Jantzi, 2006; Robinson et al., 2008) al comienzo de la introducción del sistema de rendición de cuentas con altas consecuencias en Chile. A nivel nacional no se cuenta con demasiada evidencia del comportamiento de los líderes escolares considerando el contexto de accountability y las condiciones propias de las escuelas como son sus niveles de vulnerabilidad social y sus niveles de rendimiento (Avalos, 2004; Beyer y Araneda, 2009; Cancino y Vera, 2017; Carrasco y Fromm, 2016; Castro-Hidalgo y Gómez- Álvarez, 2016; Flessa, 2014). En este sentido, la pregunta de investigación que busca responder el presente estudio dice relación con que si ¿hubo un cambio en las prácticas directivas de monitoreo académico y apoyo docente con la introducción de una política de accountability? Y profundizando, sí Archivos Analíticos de Políticas Educativas Vol. 29, No. 153 4 es que ¿es posible ver cambios de las prácticas de liderazgo desde la introducción de la política en distintos contextos educativos? En las siguientes páginas, el artículo presenta una fundamentación teórica y empírica de los procesos de rendiciones de cuenta y el liderazgo escolar. Luego se fundamenta la propuesta metodológica, y se presenta los resultados de la investigación. Finalmente se discuten los resultados y sus implicancias. Sistemas de Rendiciones de Cuenta Los sistemas de redición de cuenta son un conjunto de mecanismos de evaluación vinculados a consecuencias para establecer estándares y objetivos (Gándara y Randall, 2015). Estos tienen la finalidad de que las instituciones educativas se responsabilicen por sus resultados y de aumentar la efectividad de los sistemas educativos (Gándara y Randall, 2015; OECD, 2012; Waslanderi et al., 2010). Estas experiencias de incremento en las regulaciones y consecuencias en las reformas con estándares nacionales no son nuevas. Por ejemplo, en Estados Unidos existe una vasta experiencia de este tipo de reformas, especialmente con la instauración de No Child Left Behind (NCLB) Act (1983) y más actualmente con Race to the Top (RttT) programa para mejorar las evaluaciones realizadas a la práctica de los docentes (Lavigne y Chamberlain, 2017; Paufler y Sloat, 2020). La aplicación de estos sistemas de rendiciones de cuenta difiere en amplitud y consecuencias para el sistema educativo (De la Vega 2015; Hooge et al., 2012; Rosenkvist, 2010). En algunos casos la introducción de las rendiciones de cuenta tiene el sentido de iniciar mercados educativos apoyando la elección de los padres de elegir escuelas. En otros casos, se introducen con la idea de que el Estado tenga mayor presencia y control auditando a las escuelas por sus resultados (Parcerisa y Falabella, 2017). Para varios autores (Fallabela, 2014; Montecinos et al., 2015; Parcerisa y Falabella, 2017), la lógica del accountability viene a graficar una función dual desde el estado. Por una parte, las políticas de rendiciones de cuentas han sido definidas como una forma de descentralización, la cual promueve la autonomía a las escuelas. Por otro lado, el estado impone estándares, evalúa y clasifica escuelas de acuerdo a sus resultados asociándolos a sanciones o ‘incentivos’. Como tal, el estado cobra un rol de auditar, monitorear y controlar (Fallabela, 2014). Ball (2003) declara que estas reformas se presentan como una forma de desregulación, pero de hecho ellas son una forma de regulación. Según los autores, este escenario conlleva a una paradoja: neoliberalismo ofrece un discurso donde los sujetos aparecen como empoderados, autónomos y responsables por sus decisiones. Pero, por otro lado, los actores educativos (directivos y profesores) están bajo la presión de varios agentes; a) por el estado que los audita y juzga, b) por las presiones del mercado y c) por la lógica del management dentro de las escuelas (Ball, 2003; Falabella, 2014; Montecinos et al., 2015). Si bien estos mecanismos de rendiciones de cuenta no son nuevos, ellas si han sido altamente discutidas. Según la literatura internacional (De la Vega 2015; Rosenkvist, 2010), se evidencia un aumento del estrés laboral por la constante presión por los resultados, empobrecimiento de las prácticas curriculares (Minarechová, 2012; Pandya, 2011; Taubman, 2009; Wrigley et al., 2012), una creciente desconfianza en las capacidades docentes aumentando los sistemas de control y evaluación (Ball, 2003; Ball y Olmedo, 2013; McCarthy y Lambert, 2006; West, 2010), lo cual estaría repercutiendo en un empobrecimiento en la experiencia educativa (Noddings, 2013; Ravitch, 2010) y aumento de formas de administración escolar de carácter vertical (Elacqua et al., 2016; Wrigley, 2003). Los sistemas de rendiciones de cuentan se han implementado en varias naciones, aunque sus diseños y alcance varían notoriamente (Hooge et al., 2012; Rosenkvist, 2010). En Chile, autores dan Cambios en las prácticas de liderazgo escolar bajo un sistema de accountability 5 cuenta de la existencia de un doble proceso de accountability. Por un lado, el basado en el mercado con la instauración del voucher y la elección de los padres, el cual se encuentra en el ADN del sistema chileno iniciado en la reforma de los 80’ (Carrasco et al., 2014). Por otro lado, el accountability basado en el desempeño, en Chile, se intensifican desde la promulgación de la ley de subsidio preferencial escolar (SEP) (2008), la Ley General de Educación (LGE) (2009) y la Agencia de Calidad de la Educación (2011) (Falabella, 2014; Shirley et al., 2013; Parcerisa y Falabella, 2017). Desde el 2008, se incorpora explícitamente la responsabilización de las escuelas en los resultados escolares, introduciendo un fuerte componente de presión por la mejora escolar con altas consecuencias. Al igual que en otros contextos internacionales (Hallinger y Ko, 2015), la figura del director (a) en los procesos de rendiciones de cuenta es primordial. Líderes Escolares bajo Proceso de Rendiciones de Cuenta Bajo el contexto de rendiciones de cuenta, la función e importancia de los líderes escolares deviene central, por cuanto son ellos las bisagras que orquestan la macro política a nivel de su adaptación e implementación (Fullan y Gallagher, 2020; Fullan, 2016, Leithwood, 2018; Leithwood, Patten y Jantzi, 2010; Lowenhaupt et al., 2016; Ulloa y Rodríguez, 2014). Diversos estudios se han focalizado en identificar prácticas de liderazgo con impacto en los aprendizajes de los estudiantes (Day et al., 2011; Hallinger, 2005; Hallinger et al., 2015; Leithwood et al., 2006; Robinson et al., 2008). Los esfuerzos de estos autores se ha traducido en diferentes modelos que comparten varios elementos comunes. Por ejemplo, Leithwood et al., (2006) plantea 14 prácticas de liderazgo distribuida en cuatro categorías, a decir, a) establecer dirección, b) rediseñar la organización, c) desarrollar personas, y d) gestionar la instrucción. Robinson et al., (2009) ha reconocido 5 dimensiones; a) proveer y participar en el aprendizaje y desarrollo profesional de su profesorado, b) planificar, coordinar y evaluar la enseñanza y el currículum, c) establecer metas y expectativas, d) emplear los recursos de forma estratégica, y e) asegurar un entorno ordenado de apoyo. Finalmente, el modelo de liderazgo instruccional de Hallinger (2005) aborda tres dimensiones con 10 prácticas de liderazgo; a) definir la misión de la escuela; b) gestionar el programa de instrucción y c) desarrollar un clima para el aprendizaje positivo. De acuerdo a estos autores, la dimensión con mayor efecto en los aprendizajes de los estudiantes son gestionar la instrucción y desarrollo de los docentes. Para el caso de gestionar la instrucción se focaliza en la coordinación y control de la instrucción y currículum. Las prácticas asociadas se refieren al conjunto de tareas destinadas a supervisar y evaluar la enseñanza, coordinar el currículum y seguir el progreso de los estudiantes. Para el desarrollo docente, los líderes deben contribuir al conocimiento y habilidades que requiere el personal para realizar las metas de la organización (Anderson, 2010; Leithwood y Riehl, 2005). Típicamente, las prácticas de desarrollar personas implican prácticas de protección al tiempo de enseñanza, atención y apoyo individual a los docentes, modelamiento a través de la interacción permanente y visibilidad. De acuerdo a reportes de Robinson et at. (2009) la práctica más efectiva de los líderes escolares debiera estar centrada en el desarrollo profesional docente más que en el monitoreo de la enseñanza. La importancia del liderazgo educativo en la mejora escolar se puede establecer cuando pasamos desde una visión del liderazgo netamente administrativa hacia una más centrada a lo pedagógico. Sin embargo, a pesar que la noción del liderazgo centrado en los aprendizajes es una función clave para la mejora, estudios internacionales dan cuenta que los líderes escolares invierten 41% del tiempo en la administración, tareas, reuniones y solo el 21% en la supervisión del trabajo docente y resultados de los estudiantes (OECD, 2014). En el estudio de Paufler y Sloat (2020), se evidencia que, en los contextos de altas rendiciones de cuenta, los líderes escolares plantean Archivos Analíticos de Políticas Educativas Vol. 29, No. 153 6 problemas para encontrar tiempo para supervisar y evaluar a los docentes. Para el caso de Chile, Campos y Luna (2019) han establecido que los directores deben responder a 252 obligaciones legales, de las cuales el 15% corresponden a demandas vinculadas a la dirección, 19% en temas de convivencia escolar, 38% en actividades administrativas y 28% en cuestiones pedagógicas. Desde la ley SEP (2008) los directores firman un contrato de mejoramiento a través de sus planes de mejora escolar los cuales comprometieron metas de aprendizajes evidenciadas como altamente ambiciosas (CEPPE, 2010). Espínola, Treviño, Guerrero y Martínez (2017) dan cuenta que las escuelas que cumplen con las metas SEP son un 17,6% en la primera cohorte del programa. Ahora sin lograr la meta impuesta, el 72,5% de las escuelas sí logró subir los puntajes SIMCE en los 4 años. Si bien existe evidencia de un impacto positivo de la nueva lógica de la presión por la mejora instaurada desde la ley SEP, se debe considerar que las escuelas que más subieron eran las escuelas que ya venían con un proceso de mejora instalada, el resto su aumento de puntaje es más bien marginal (Valenzuela et al., 2013). Además, la atribución de un aumento de puntaje en el SIMCE producto de la ley SEP cuenta con serias limitaciones metodológicas que varios estudios han dado cuenta (MINEDUC, 2012; Raczynski et al., 2013; Perticara et al., 2013; Valenzuela et al., 2013). De acuerdo a Montecinos et al. (2015), y considerando la instauración de modelos de presión por la mejora, los directores en Chile han adoptado la lógica de la nueva administración. Sin embargo, los directores, especialmente de las escuelas públicas, demuestran distintas tensiones que traen consigo las diferentes presiones por la mejora, las cuales finalmente terminan distrayendo a los líderes de los aspectos netamente pedagógicos. Los directivos tienen que enfrentar las presiones de la competencia con las otras escuelas, para captar matrícula, retener a sus estudiantes y mantener o subir sus rendimientos académicos, lo cual los lleva a una permanente situación de estrés. Según las autoras, a los directores en Chile se les responsabilizan por aspectos que escapan a sus posibilidades y que desde lo institucional están presente hace más de 30 años, que se refleja en el debilitamiento constante de la educación pública. Prácticas de Liderazgo en Chile Una de las capacidades y actuaciones claves para el éxito o fracaso de los sistemas de rendiciones de cuenta es como los líderes escolares llevan a cabo (enact) la política educativa. Considerando la tipología de Gray, Goldstein y Thomas (2003), sobre las rutas de mejora escolar y aplicada en Chile por Bellei, Vanni, Valenzuela y Contreras (2016), existen tres formas, que teóricamente las escuelas pueden desplegar ante las presiones externas por la mejora; la táctica, la aproximación estratégica y a través del desarrollo de capacidades. Claramente, estas formas de enfrentar la mejora escolar no son lineales ni simples, pero nos ayuda a entender sus posibles manifestaciones. Aplicando estas tipologías para el caso de los líderes escolares, a nivel táctico podríamos ver un uso intensivo del monitoreo académico sin retroalimentación hacia los docentes. Aquí se daría la lógica de instaurar una acción específica para responder de forma inmediata a la presión de la política pública. Esto puede ser considerado como una forma de adopción de la política externa, sin necesariamente, construcción de capacidades para la mejora. Este escenario es relevante de considerar, especialmente por los reportes de CEPPE (2010) donde se estipula que dentro de los diagnósticos emanados desde los planes de mejora escolar exigidos por la ley SEP (2008), uno de los aspectos más descendidos fueron el monitoreo pedagógico. En un nuevo estudio, desde la Agencia de calidad (2017), se da cuenta que la gestión escolar continúa manifestando niveles bajos de desarrollo. La agencia elaboró un panorama de la gestión escolar de 200 escuelas clasificadas en desempeño insuficiente o medio bajo entre los años 2014- Cambios en las prácticas de liderazgo escolar bajo un sistema de accountability 7 2015. La caracterización de las prácticas se hizo en base a cuatro dimensiones de la gestión escolar, a decir; liderazgo, gestión pedagógica, formación y convivencia y gestión de recursos. Según la evaluación cuantitativa realizada, la Agencia detecta que la sub-dimensión que se encuentra en un estado de desarrollo más insatisfecho es la gestión pedagógica. Para Bellei et al. (2016), el posible uso intensificado de aspectos tácticos como ensayar para el test o fiscalizar rutinariamente los puntajes de los estudiantes puede dar paso a mejoras espurias que tienen que ver más con subir puntajes que mejorar procesos. La segunda forma de ruta de mejora es la aproximación estratégica, que se entiende como intenciones de instaurar procesos sin renunciar al uso de la táctica. Ejemplos de este comportamiento es la focalización de materias y uso del monitoreo académico bajo la lógica de la vigilancia en vez como instancia de aprendizaje. Elacqua et al. (2016), indagan los efectos a corto plazo de las presiones por la rendición de cuentas en la política y prácticas educativas de los docentes. Los investigadores argumentan que muchos de los cambios en los procesos de aprendizajes fueron implementados bajo una perspectiva vertical, es decir, desde una postura más bien autoritaria de administración. Finalmente, la tercera forma de mejora es el desarrollo de capacidades, que busca establecer comunidades de aprendizaje a través del desarrollo profesional docente. Una de las preocupaciones de los líderes escolares es de generar condiciones internas y capacidades de responsabilización de resultados, lo que se conoce como accountability interno, es decir, un proceso de adaptación de la política. Este aspecto ha sido menos observado empíricamente, de hecho, el estudio de Bellei et al. (2016) sólo da cuenta que en Chile un 10% de las escuelas ha logrado alcanzar este nivel de desarrollo en la mejora escolar. Considerando los antecedentes planteados, no existen muchos estudios en Chile que den cuenta que el sistema de accountability por desempeño iniciado en el 2008 esté impulsando un desarrollo de capacidades al interior de las escuelas. Como ha sido establecido por la literatura internacional (Anderson, 2010; Leithwood y Riehl, 2005; Robinson et at. 2009), uno de los aspectos gravitantes para los líderes escolares es precisamente el desarrollo profesional de sus docentes, es por esto que esta investigación se propone evidenciar, si la instauración de un sistema externo de rendiciones de cuenta con alta consecuencias mueve a los directivos a impulsar acciones en este sentido. Metodología La metodología cuantitativa empleada hizo uso de datos secundarios y análisis estadísticos sobre las bases de datos de las pruebas nacionales SIMCE de 4to básico. El alcance de los análisis es primariamente de corte descriptivo. El estudio de los datos se plantea como longitudinal, ya que abarca un periodo desde el 2009 al 2012. Considerando la literatura, se plantea el siguiente supuesto de investigación: El liderazgo directivo responde a las presiones de las rendiciones de cuenta externa y, por tanto: El monitoreo académico presenta cambios en el periodo evaluado; El apoyo docente por parte de los directores no presenta cambio en los periodos evaluados. Muestra e Instrumentos Se confeccionó una base de datos con la respuesta docente de la asignatura de matemáticas de 4to básico en el periodo 2009 al 2012 a nivel nacional. Se utilizan los ítems propuestos por la Agencia de calidad de la Educación en el cuestionario docente aplicado por el SIMCE entre el 2009 al 2012. Hay dos razones básicas para la consideración de este periodo. Primero, desde un punto de vista teórico, se considera este periodo como el primer ciclo desde la instalación del accountability externo establecido desde la ley SEP (2008). El considerar Archivos Analíticos de Políticas Educativas Vol. 29, No. 153 8 este periodo nos da información sobre los posibles cambios en el liderazgo directivo en las escuelas del país desde la perspectiva de los docentes. Segundo, la Agencia de Calidad de la Educación presenta una escala tipo Likert de 30 ítems en estos cuatro años, los cuales no se vuelven a presentar en los años posteriores. Si bien la Agencia de calidad de la Educación sigue midiendo el liderazgo directivo en los años siguientes, cambia los indicadores cada año. Por lo tanto, desde el punto de vista técnico, solo es posible comparar los resultados dentro de estos cuatro años. Además, la Agencia de calidad de la Educación (2014) presentó un informe el 2014 ofreciendo dos grandes dimensiones en la escala y en una de ellas con dos sub-dimensiones. Tabla 1 Total de Docentes y Escuelas, Periodo 2009-2012 2009 2010 2011 2012 Número docente 9890 10520 9713 10065 Número de escuelas 7557 7827 7363 7560 SIMCE promedio 246.54 246.15 252.75 249.91 SIMCE desviación estándar 31.20 29.90 28.54 32.39 IVE promedio 0.80 0.76 0.77 0.77 IVE desviación estándar 0.17 0.18 0.18 0.18 Fuente: elaboración propia con datos de la Agencia de Calidad de la Educación, Chile. SIMCE = puntajes promedio de escuelas, para estudiantes en 4to. Básico; IVE = índice de vulnerabilidad promedio para cada escuela en cada año respectivo. De estos 30 ítems, seleccionamos 7 ítems para representar dos constructos de liderazgo escolar: ‘Monitoreo académico’ y la dimensión ‘apoyo docente’. Para el caso de la dimensión Monitoreo académico (e.g. Academic pPess) se fundamentó la elección de los indicadores en base a estudios internacionales (Hallinger y Heck, 1996; Sun y Leithwood 2015; Waters et al., 2003). El monitoreo académico, refiere al énfasis normativo que se ejerce en las escuelas como organización, respecto a la excelencia académica (Shouse, 1996). Tres ítemes fueron seleccionados, para capturar el grado de monitoreo académico de las escuelas: “[El Equipo Directivo] Evalúa el impacto de la labor docente en los logros de los estudiantes; “[El Equipo Directivo] Realiza un seguimiento sistemático de la situación y progreso del aprendizaje de los estudiantes”; y “[El Equipo Directivo] Define con claridad metas de aprendizajes para el año escolar”. En el caso de la dimensión Apoyo docente (e.g. supportive leadership) se fundamentó la elección de los indicadores a los estudios de Leithwood y Jantzi, (2006) y Robinson et al. (2008). Apoyo docente (e.g. supportive leadership), consiste en las diferentes acciones que realiza el equipo directivo para establecer metas, promover la autoeficacia de los docentes, y articular la organización de modo tal que los profesores puedan realizar su labor, protegidos de presiones externas. Para presentar este aspecto cuatro ítems fueron seleccionados: “[El Equipo Directivo] Favorece el trabajo autónomo de los profesores”; “[El Equipo Directivo] Tiene alta expectativas del trabajo de los profesores”; “[El Equipo Directivo] Involucra a los profesores en la definición de metas pedagógicas” y “[El Equipo Directivo] Procura que los profesores no se distraigan de su labor principal (enseñanza) a través de la reducción de presiones externas o administrativas.” Plan de Análisis Con el objetivo de evaluar si el monitoreo académico y el apoyo docente tuvo cambios en los periodos analizados las respuestas a estos ítems fueron sometidos a un modelo de respuesta al Cambios en las prácticas de liderazgo escolar bajo un sistema de accountability 9 ítem de crédito parcial (Masters, 2016). En este modelo, las diferentes opciones de respuestas son consideradas como respuestas categóricas ordinales y se extrae la propensión a contestar las respuestas de mayor acuerdo para cada profesor. De forma simultánea, se modelaron las respuestas de Monitoreo académico para la cohorte de profesores entre 2009 y 2010; y por separado para la cohorte entre 2011 y 2012. Durante 2009- 2010 el cuestionario de docentes empleó 5 categorías de respuesta para recoger el grado de acuerdo de los docentes (Muy de acuerdo De acuerdo, Ni de acuerdo ni en desacuerdo, En desacuerdo, Muy en desacuerdo), mientras que en 2011-2012, el cuestionario de docentes emplea las mismas afirmaciones entre los indicadores seleccionados de monitoreo académico y el apoyo al desarrollo docente, pero las categorías de respuesta empleadas fueron cuatro (Muy de acuerdo De acuerdo, Ni de acuerdo ni en desacuerdo, En desacuerdo, Muy en desacuerdo). De modo de generar puntajes interpretables para los períodos observados, estos puntajes fueron generados por separado, uno para las aplicaciones de 2009 y 2010; y otro para los períodos 2011 y 2012. Los puntajes generados corresponden a los weighted least estimates producidos con el modelo de crédito parcial, mediante la librería TAM (Kiefer et al., 2016), disponible para el entorno de programación estadística R (R Core Team, 2017). Todos los puntajes generados presentan una confiabilidad aceptable (EAP relaiability > .70). Análisis Los profesores indican su grado de acuerdo o desacuerdo sobre las dos dimensiones definidas. La variación de estas respuestas esta explicada no solo por la forma de contestar de los profesores, sino por el director o equipo directivo al que sus respuestas refieren. En este escenario, los profesores actúan como informantes (raters) del líder con el que trabajan. De tal forma que, lo que los profesores expresan en común respecto a un mismo establecimiento constituye la varianza de interés. Esta varianza representa a constructos medidos de forma reflectiva (Lüdtke et al., 2009), mediante ítems que presentan reference-shift (Bliese et al., 2018). Este puntaje, expresado en logits, es interpretado como distancias respecto al centro de la distribución (de valor cero), de varianza libre. De modo que el cero expresa el centro de la distribución entre dos años (2009-2010 y 2011-2012). Mayor puntaje, indica mayor presencia del atributo evaluado (i.e. monitoreo académico, y apoyo docente), según cada profesor. Para comparar los puntajes obtenidos en el modelo anterior a través del periodo señalado, se emplea un modelo multinivel para comparar a las escuelas en el tiempo, de modo de integrar a las inferencias el problema de la cantidad de profesores que entregan sus respuestas por escuela. Los puntajes generados anteriormente, mediante el modelo Rasch, son empleados para comparar a las escuelas entre sí. Empleamos el modelo multinivel, debido a que este, nos permite realizar inferencias específicas entre escuelas (Stapleton et al., 2016). Esto se realiza mediante la partición de varianza, entre profesores dentro de escuelas, y la varianza entre escuelas y posteriormente, como se relaciona las diferencias entre escuelas en el tiempo. Desde el punto de vista de la interpretación, coeficientes positivos indican aumentos en el tiempo. Coeficientes negativos indican descensos de un año a otro. Los modelos multinivel fueron ajustados empleando la librería lme4 (Bates, 2010), en el entorno de programación estadística R (R Core Team, 2017). Una vez obtenido los efectos generales en las dos dimensiones establecidas en los dos periodos, se busca establecer si hay diferencias en el monitoreo académico y el apoyo al desarrollo docente según tipo de desempeño académico y grado de vulnerabilidad de las escuelas. Se dividen las escuelas que participaron en SIMCE 4to básico, considerando la relación entre resultados en las pruebas de SIMCE y el porcentaje de estudiantes bajo vulnerabilidad que asisten a estos establecimientos. Para producir cuatro grupos, se usa el criterio de que entre aquellas escuelas que tienen mayor y menor desempeño que la mediana, y aquellas que atienden a mayor parte de Archivos Analíticos de Políticas Educativas Vol. 29, No. 153 10 estudiantes vulnerables, y aquellas que atienden a menor parte de estudiantes vulnerables. Aquellas escuelas de mayor desempeño y menor vulnerabilidad (grupo 1), aquellas de mayor vulnerabilidad y mayor desempeño (grupo 2), aquellas de menor desempeño y baja vulnerabilidad (grupo 3), y finalmente, aquellas escuelas de menor desempeño y mayor vulnerabilidad (grupo 4; ver figura 1). Resultados Análisis 1: Trayectorias en el Monitoreo Académico y el Apoyo Docente Una vez presentado la preparación de los datos y operacionalizadas las variables a trabajar, el análisis busca determinar la existencia o no de cambios en el monitoreo académico y en el apoyo docente. Tabla 2 Cambios en Monitoreo Académico entre 2009-2010 y 2011-2012 Periodo 2009-2010 Periodo 2011-2012 Modelo nulo Modelo 1 Modelo nulo Modelo 1 intercept -0.10*** -0.10*** -0.26*** -0.30*** (0.02) (0.03) (0.02) (0.03) Time -0.01 0.08* (0.03) (0.03) AIC 82886.91 82888.83 84479.50 84474.95 BIC 82910.42 82920.17 84503.02 84506.31 Log Likelihood -41440.45 -41440.41 -42236.75 -42233.48 Num. Obs. 18696 18696 18777 18777 Num. Groups:id_j 7877 7877 7778 7778 Var: id_j (intercept) 1.70 1.70 1.67 1.67 Var: Residual 3.66 3.66 4.00 4.00 Nota: ***p<0.001, **p<0.01, *p<0.05 Tabla 3 Cambios en Apoyo Docente entre 2009-2010 y 2011-2012 Periodo 2009-2010 Periodo 2011-2012 Modelo nulo Modelo 1 Modelo nulo Modelo 1 intercept 0.04** 0.05** -0.14*** -0.13*** (0.02) (0.02) (0.02) (0.02) Time -0.02 -0.02 (0.02) (0.03) AIC 73931.30 73932.63 81890.99 81892.51 BIC 73954.80 73963.96 81914.51 81923.87 Log Likelihood -36962.65 -36962.32 -40942.50 -40942.26 Num. Obs. 18614 18614 18763 18763 Num. Groups:id_j 7816 7816 7753 7753 Var: id_j (intercept) 1.05 1.05 1.44 1.44 Var: Residual 2.32 2.32 3.51 3.51 Nota: ***p<0.001, **p<0.01, *p<0.05 Cambios en las prácticas de liderazgo escolar bajo un sistema de accountability 11 Para la dimensión de monitoreo académico no se observan cambios entre 2009-2010, pero sí en el periodo 2011-2012. Para la dimensión apoyo docente no se observan diferencias significativas entre los años considerados. Para precisar y obtener más detalles sobre los cambios observados en el monitoreo, se especifican un análisis por cuartiles. Los cuartiles inferiores (p0, p25, y p50) varían sus puntajes acercándose a la media de la población (aumentan sus puntajes). Las escuelas en el cuartil superior (p75) varían sus puntajes acercándose a la media de la población (disminuyendo sus puntajes). Tabla 4 Cambios en Monitoreo Académico en 2011-2012, por Cuartiles Cuartil 1 Cuartil 2 Cuartil 3 Cuartil 4 intercept -3.22*** -1.14*** 0.93*** 2.26*** (0.05) (0.04) (0.04) (0.03) Time 2.05*** 0.60*** -0.87*** -1.72*** (0.06) (0.05) (0.05) (0.05) AIC 19076.41 18715.08 19526.73 14322.52 BIC 19101.98 18740.84 19552.66 14347.62 Log Likelihood -9534.20 -9553.54 -9759.36 -7157.26 Num. Obs. 4419 4624 4837 3929 Num. Groups:id_j 1715 1715 1715 1715 Var: id_j (intercept) 0.48 0.08 0.27 0.20 Var: Residual 3.95 3.27 3.07 2.05 Nota: ***p<0.001, **p<0.01, *p<0.05 Considerando los resultados obtenidos, la evidencia nos sugiere que a partir de la reforma que pone presión a las escuelas por los resultados, el monitoreo académico aumenta. Al describir el cambio significativo del monitoreo académico evaluado por los docentes sobre los directivos de las escuelas chilenas sugiere que las escuelas comienzan a normalizar la práctica de monitoreo académico. Los cambios se observan en el periodo de regla en la instalación de la política. Es en el segundo periodo donde en los datos se observa un alza significativa de las prácticas asociadas a monitoreo. De hecho, al dividir la población según cuartiles, los cuartiles inferiores son donde más cambios se observan, es decir, donde más monitoreo se comienza a realizar. Las escuelas situadas en el cuarto cuartil exhiben un proceso negativo de monitoreo académico, es decir, a pesar su alto nivel de monitoreo académico en este periodo comienzan a bajar su frecuencia. Para el caso del apoyo docente, la evidencia sugiere que el inicio de las rendiciones de cuenta no afecto a esta dimensión. Análisis 2: Diferencias en el Monitoreo Académico y el Apoyo Docente según Tipo de Desempeño Académico y Niveles de Vulnerabilidad de las Escuelas Como fue descrito en la sección de metodología, se desarrollaron cuatro grupos. Grupo 1, escuelas de mayor desempeño y menor vulnerabilidad, grupo 2, aquellas de mayor vulnerabilidad y mayor desempeño, grupo 3 aquellas de menor desempeño y baja vulnerabilidad, y finalmente, grupo 4 aquellas escuelas de menor desempeño y mayor vulnerabilidad. Archivos Analíticos de Políticas Educativas Vol. 29, No. 153 12 Figura 1 Grupos de Rendimiento y Composición Escolar Ajustamos un modelo multinivel sobre cada uno de estos grupos sobre la faceta de Monitoreo Académico, y para la faceta de Apoyo docentes, para el período de 2011 y 2012. Los estimados de estos modelos son presentados en las tablas 5 y 6. El modelo ajustado, que en términos de ecuaciones puede ser representado de la siguiente forma 𝑦𝑖𝑗 = 𝛽00 + 𝛽10𝑡𝑖𝑒𝑚𝑝𝑜 + 𝑢.𝑗 + 𝜖𝑖𝑗 Donde, 𝑦𝑖𝑗 representa a los puntajes de cada faceta de liderazgo producidos sobre cada profesor i de la escuela j. 𝛽00 representa a la gran media de puntajes en 2011 para todas las escuelas que participaron en SIMCE 4to Básico. Por su parte 𝛽10 representa a la diferencia entre 2012 y 2011, la cual si es positiva indica que los puntajes han aumentado de 2011 a 2012; y por el contrario, si es negativa indica que los puntajes han disminuido en el mismo periodo. Adicionalmente, 𝛽00 + 𝑢.𝑗 representa a las medias esperadas de cada escuela. Finalmente, 𝜖𝑖𝑗 , captura las diferencias entre profesores dentro de una misma escuela, respecto a los puntajes esperados de liderazgo en cada escuela específica. Cambios en las prácticas de liderazgo escolar bajo un sistema de accountability 13 Tabla 5 Cambios en el Monitoreo Académico en 2011-2012, por Grupos de Desempeño y Composición Grupo 1 Grupo 2 Grupo 3 Grupo 4 beta_00 -0.17* -0.16 -0.74* -0.48* [-0.27; -0.08] [-0.34; 0.02] [-0.85; -0.62] [-0.61; -0.36] beta_10*tiempo -0.01 -0.05 0.09 0.10 [-0.11; 0.10] [-0.26; 0.17] [-0.05; 0.22] [-0.05; 0.25] AIC 25409.68 6268.94 17468.14 13335.89 BIC 25436.26 6289.89 17493.13 13359.84 Log Likelihood -12700.84 -3130.47 -8730.07 -6663.95 Num. Obs. 5689 1391 3813 2946 Num. Groups:id_j 1747 601 1359 1293 Var: id_j (intercept) 1.64 1.32 1.53 1.56 Var: Residual 3.96 4.18 4.54 4.13 Nota: *0 outside the confidence interval Considerando la evaluación por tipo de escuelas, el cambio significativo observado anteriormente producto de la introducción del sistema de rendiciones de cuenta no se produce. Sin embargo, desde un punto de vista descriptivo se observa que las medias de estos grupos son muy diferentes en 2011. Entre los grupos analizados, los grupos que presentan mayor Monitoreo académico es el grupo 1 (𝛽00 = -0.17, CI95[-0.27; -0.08]), grupo 2 (𝛽00 = -0.16, CI95[-0.34; -0.02]), seguido del grupo 4 (𝛽00 = -0.48, CI95[-0.61; -0.36]), dejando al grupo 3 en el último lugar (𝛽00 = - 0.74, CI95[-0.85; -0.62]). En forma conjunta, esta diferencia entre grupos explica cerca del 6.1% de la varianza entre escuelas del total. Respecto a los cambios en el tiempo, no se observan diferencias. Tabla 6 Cambios en el Apoyo Docente en 2011-2012, por Cuartiles Grupo 1 Grupo 2 Grupo 3 Grupo 4 beta_00 -0.13* -0.04 -0.60 * -0.30 * [-0.22; -0.04] [-0.20; 0.13] [-0.71; -0.48] [-0.41; -0.18] beta_10*tiempo -0.12* -0.07 -0.03 0.08 [-0.22; -0.03] [-0.28; 0.13] [-0.16; 0.09] [-0.06; 0.22] AIC 24674.47 6097.52 17022.99 12929.80 BIC 24701.06 6118.48 17047.98 12953.76 Log Likelihood -12333.24 -3044.76 -8507.50 -6460.90 Num. Obs. 5694 1392 3815 2948 Num. Groups:id_j 1747 601 1359 1293 Var: id_j (intercept) 1.29 1.23 1.40 1.43 Var: Residual 3.54 3.64 4.01 3.55 Nota: * 0 outside the confidence interval Al dividir las escuelas por grupos, respecto a los cambios en el tiempo, se observa que es el grupo 1 de escuelas, las escuelas con mayor desempeño relativo, y menor composición de estudiantes vulnerables, disminuyen sus niveles relativos de apoyo docente (𝛽10 = -0.12, CI95[-0.22; -0.03]). Considerando la tabla 6 se observan las mismas diferencias principales: las medias de estos Archivos Analíticos de Políticas Educativas Vol. 29, No. 153 14 grupos son muy diferentes en 2011. Entre los grupos analizados, los grupos que presentan mayor Apoyo Docente son los grupo 2 (𝛽00 = -0.04, CI95[-0.20; 0.13]), y grupo 1 (𝛽00 = -0.13, CI95[-0.22; -0.04]), seguido del grupo 4 (𝛽00 = -0.30, CI95[-0.41; -0.18]), dejando al grupo 3 en el último lugar (𝛽00 = -0.60, CI95[-0.71; -0.48]). En forma conjunta, esta diferencia entre grupos explica cerca del 6.8% de la varianza entre escuelas del total. Discusión Los resultados presentados en este estudio dan cuenta de tres situaciones importantes. Primero, el Monitoreo académico es mayor bajo accountability. Desde el punto de vista de los cambios que se pueden observar en los dos periodos analizados de la implementación de la política de rendiciones de cuenta, tenemos que el monitoreo académico realizado por los grupos de liderazgo presenta un impacto significativo en el segundo periodo, es decir, en el periodo 2011-2012. Considerando las respuestas de los docentes de 4to básico de la asignatura de Matemáticas, respecto a las prácticas de sus líderes educativos, la evidencia indica que el monitoreo de los resultados ha sido una práctica que se vio movilizada significativamente desde la instalación de la nueva política. Escuelas que menos monitoreo reportaron en el periodo 2009-2010 efectivamente aumentan su monitoreo académico en el segundo periodo y tienden a normalizar la práctica. Por lo tanto, acciones como evaluar el impacto de la labor docente en los logros de los estudiantes, realizar un seguimiento sistemático de la situación y progreso del aprendizaje de los estudiantes y definir con claridad metas de aprendizajes para el año escolar, son prácticas que se mueven de forma significativa debido a la introducción de las rendiciones de cuenta desde el 2008 al 2012. Segundo, en el caso de apoyo docente, esta dimensión no presenta cambios en los dos periodos analizados y no es posible atribuir una diferencia respecto a la introducción de la política del accountability. Pero, ¿por qué los directivos, de acuerdo a los docentes consultados, no presentan altas expectativas hacia los docentes, no movilizaron significativamente prácticas de favorecer el trabajo autónomo, involucrarlos en la definición de metas pedagógicas y procurar que no se distraigan con las presiones externas? Las respuestas pueden ser variadas. Primero, si consideramos la literatura crítica, los procesos de accountability tienen una fuerte carga de desconfianza respecto a las capacidades de los actores, lo que se manifiesta en mayores controles y evaluaciones (Ball, 2003; Ball y Olmedo, 2013; McCarthy y Lambert, 2006; West, 2010). Al considerar evidencia nacional, podemos sugerir que la ausencia de impacto en esta área puede significar que efectivamente estemos antes formas de administración escolar de carácter vertical y performativa (Elacqua, et al., 2016; Montecinos et al. 2015; Parcerisa y Falabella, 2017). Segundo, otra asociación más práctica que también podemos realizar es que efectivamente los directivos al estar bajo la presión de mejora rápida decidan focalizarse en los aspectos de monitoreo de resultados. En este sentido, el liderazgo, bajo el accountability, puede tener un foco más instrumental respecto a los resultados, más que al proceso de dar mayor autonomía a sus docentes o negociar metas de aprendizaje. Esto es coincidente con lo planteado por Bellei et al., (2016), la mayoría de nuestras escuelas presentan un modelo de mejora basado en elementos tácticos y son pocas las escuelas que han alcanzado una aproximación estratégica y a través del desarrollo de capacidades. Tercero, si consideramos que los directivos tienen una alta carga administrativa, el tiempo para los aspectos de desarrollo docentes puede no ser parte de las prioridades de mejora (Campos y Luna, 2019; OECD, 2014). Cuarto, aunque si bien la literatura internacional ha vinculado como una de las acciones claves de los líderes escolares el propiciar el desarrollo profesional de sus docentes, también hay que considerar la preparación de los directores para realizarlo. Como lo ha evidenciado en la literatura nacional e internacional, la formación de los líderes educativos es un tema pendiente y Cambios en las prácticas de liderazgo escolar bajo un sistema de accountability 15 que aún los directivos carecen de preparación suficiente (Hallinger y Ko, 2015; Rivero, Hurtado y Morandé, 2018; Rivero, Yañez y Hurtado, 2019; Rojas-Bravo, 2017; Weinstein, Cuéllar, Hernández y Fernández, 2018). Finalmente, al establecer cuatro tipos de escuelas, el factor tiempo no se logra percibir como significativo, es decir, no se pudo establecer que hubo un cambio en el monitoreo académico y al apoyo docente una vez estableciendo cuatro diferentes contextos educativos. Sin embargo, si se pudo establecer que ambas dimensiones exploradas de forma descriptiva presentan importantes diferencias considerando los contextos educativos, siendo en las escuelas con alto desempeño y un bajo y alto grado de vulnerabilidad los que más monitoreo académico y apoyo docente realizan (a pesar de su disminución presentada). A pesar que no fue posible atribuir el apoyo docente a la política del accountability, esta dimensión es significativa en aquellas escuelas de buen desempeño y explica el 6.8% de la varianza de las diferencias entre escuelas. En el presente artículo es necesario considerar algunas limitaciones. Una de las debilidades del presente diseño, es que contamos con muchas escuelas con un solo profesor evaluando las dos dimensiones del liderazgo (77% en 2009, 75% en 2010, 76% en 2011, y 75% en 2012 del total de escuelas). Esto implica que, cuando un solo profesor reporta sobre el equipo directivo, sus respuestas podrían ser poco precisas, en contraste a lo que dirían más profesores sobre el equipo directivo, si es que hubiera otros profesores. No obstante, debido a como está estructurado el sistema escolar chileno, en promedio cerca de 77% de las escuelas cuenta con un solo profesor para cuarto básico, por tanto, no es posible obtener más informantes sobre el equipo directivo para el mismo grado. Existen simulaciones que indican que en escenarios de muestras grandes (i.e. más de 500 escuelas), los resultados pueden ser robustos a la presencia de hasta 70% de singletons (i.e. un caso por escuela) (Bell, Morgan, Kromrey y Ferron, 2010). Conducimos análisis de sensibilidad, analizando escuelas con 1, 2, 3, 4, 5, 6 o más profesores, para evaluar la sensibilidad de los efectos principales en el tiempo a la cantidad de profesores presentes por escuela en ambos años. Conducimos estos análisis, para ambas facetas de liderazgo, para los períodos 2009-2010 y 2011-2012. Los resultados de estos análisis indican que el efecto principal de cambio en el tiempo es sensible a la cantidad de profesores. En la mayoría de los casos, cuando la muestra de casos empleados se restringe a escuelas con más de un profesor el coeficiente de tiempo tiende a ser más grande (mayor igual a 5 profesores). Sin embargo, la complejidad organizacional de una escuela donde hay un solo profesor de grado y un director respectivo, en contraste a una escuela donde hay al menos cinco profesores y un equipo directivo, difícilmente se asemejan a una simple selección de casos aleatorias. Investigaciones futuras, debieran estudiar estos aspectos para evaluar los atributos de liderazgo de los directivos de las diferentes escuelas del país de diferente forma. Conclusión Considerando los resultados aquí presentados, la reforma instaurada en el 2008 que apunta a generar presión y responsabilización por los resultados hace que los directores escolares normalicen una de las prácticas que la literatura sobre liderazgo educativo ha identificado como significativas, es decir, el monitoreo académico. Sin embargo, la gestión del apoyo docente, la cual está directamente vinculada con las posibilidades de los directivos de incidir en el desarrollo profesional de sus docentes, no pudo ser vinculada con la instauración de la política de rendiciones de cuenta. El que el apoyo docente no se haya mostrado significativo en ambos periodos evaluados se condice con la literatura crítica sobre los procesos de accountability externos centrados en el desempeño, el cual argumenta que el centrarse en los resultados, especialmente los medidos por las evaluaciones estandarizadas, el proceso de desarrollo docente no es parte de su lógica de incentivos Archivos Analíticos de Políticas Educativas Vol. 29, No. 153 16 especialmente en aquellas escuelas que han mostrado bajo desarrollo académico a través del tiempo (Bellei et al., 2016). Sin embargo, nuestros resultados son temporalmente referidos. El análisis y conclusiones realizadas están contextualizadas en el primer ciclo del accountability por desempeño de lo que podemos considerar como la consolidación del ‘estado evaluador’ (Parcerisa y Falabella, 2017). Si bien la lógica del accountability están muy presentes en el sistema educativo chileno, desde el 2013 se instala un nuevo marco para el liderazgo. Se requiere, hoy en día, saber cómo la nueva institucionalidad para el liderazgo escolar en Chile ha logrado impulsar el apoyo docente y más profundamente su desarrollo profesional. La institucionalidad para el liderazgo escolar ha cambiado desde el 2012. Se han introducido importantes políticas públicas que han definido nuevas funciones, obligaciones y atribuciones para los líderes escolares. Una interesante línea de investigación es respecto a cómo los centros de liderazgos han logrado movilizar un liderazgo centrado en lo pedagógico y como la mejora escolar logra sobreponerse a la lógica de la presión por los resultados y la competencia que impulsa los sistemas de rendiciones de cuenta. Referencias Agencia de Calidad de la Educación. (2014). Tres miradas al liderazgo educativo. Apuntes Sobre la Calidad de la Educación, 14(2). Agencia de Calidad de la Educación. (2017). Panorama de la gestión escolar. ¿Cómo avanzamos en calidad en las escuelas que más apoyo requieren? Primer Informe 2014-2015. Agencia de Calidad de la Educación. Anderson, S. (2010). Liderazgo directivo: Claves para una mejor escuela. Revista Psicoperspectivas, 9(2), 34-52. https://doi.org/10.5027/psicoperspectivas-Vol9-Issue2-fulltext-127 Avalos, B. (2004). Teacher regulatory forces and accountability policies in Chile: From public servants to accountable professionals. Research Papers in Education, 19(1), 67-85. https://doi.org/10.1080/0267152032000179981 Ball, S. J. (2003). The teacher's soul and the terrors of performativity. Journal of Education Policy, 18(2), 215-228. https://doi.org/10.1080/0268093022000043065 Ball, S. J., & Olmedo, A. (2013). Care of the self, resistance and subjectivity under neoliberal governmentalities. Critical Studies in Education, 54(1), 85-96. https://doi.org/10.1080/17508487.2013.740678 Bell, B. A., Morgan, G. B., Kromrey, J. D., & Ferron, J. M. (2010). The impact of small cluster size on multilevel models: A Monte Carlo examination of two-level models with binary and continuous predictors. JSM Proceedings, Survey Research Methods Section, 1(1), 4057–4067. Bellei, C., Vanni, X., Valenzuela, J. P., & Contreras, D. (2016). School improvement trajectories: An empirical typology. School Effectiveness and School Improvement, 27(3), 275-292. https://doi.org/10.1080/09243453.2015.1083038 Beyer, H., & Araneda, P. (2009). Hacia un estado más efectivo en educación: una mirada a la regulación laboral docente. Un mejor Estado para Chile. Propuestas de modernización y reforma (pp. 403-446). Santiago, Chile: Consorcio para la Reforma del Estado. Bliese, P. D., Maltarich, M. A., Hendricks, J. L., Hofmann, D. A., & Adler, A. B. (2018). Improving the measurement of group-level constructs by optimizing between-group differentiation. Journal of Applied Psychology, 104(2), 293-302. https://doi.org/10.1037/apl0000349 Campos, F., & Luna, D. (2019). Acciones y responsabilidades de los directores escolares municipales según la normativa Chilena. III Congreso CILME, Santiago de Chile. https://doi.org/10.5027/psicoperspectivas-Vol9-Issue2-fulltext-127 https://doi.org/10.1080/0267152032000179981 https://doi.org/10.1080/0268093022000043065 https://doi.org/10.1080/17508487.2013.740678 https://doi.org/10.1080/09243453.2015.1083038 https://doi.org/10.1037/apl0000349 Cambios en las prácticas de liderazgo escolar bajo un sistema de accountability 17 Cancino, V., & Vera, L. (2017). Políticas educativas de fortalecimiento del liderazgo directivo: Desafíos para Chile en un análisis comparado con países OCDE. Ensaio: Avaliação e Políticas Públicas em Educação, 25(94), 26-58. https://doi.org/10.1590/s0104-40362017000100002 Carrasco, A., Bogolasky, F., Flores, C., Gutiérrez, G., & San Martin, E. (2014). Selección de estudiantes y desigualdad educacional en Chile: ¿Qué tan coactiva es la regulación que la prohíbe? Estudios de Política Educativa, MINEDUC, 1(1), 104-157. Carrasco, A., & Fromm, G. (2016). How local market pressure shape leadership practices: Evidence from Chile. Journal of Education Administration and History, 48(4), 290-308. https://doi.org/10.1080/00220620.2016.1210584 Castro-Hidalgo, A., & Gomez-Alvarez, L. (2016). A long-term neoliberal experiment and its impact on the quality and equity of education. En F. Adamson, B. Astrand & L. Darling-Hammond (Eds.), Global education reform. Taylor and Francis Group. CEPPE. (2010). Planes de mejoramiento SEP: Sistematización, análisis y aprendizajes de política. Centro de Estudios de Políticas y Prácticas en Educación, Pontificia Universidad Católica de Chile. Coburn, C. E. (2005). Shaping teacher sensemaking: School leaders and the enactment of reading policy. Educational Policy, 19(3), 476–509. https://doi.org/10.1177/0895904805276143 Day, C., Sammons, P., Hopkins, D., Harris, A., Leithwood, K., Gu, Q., Brown, E., Ahtaridou, E., & Kington, A. (2009). The impact of school leadership on pupil outcomes. Final Report. University of Nottingham. Day, C., Sammons, P., Leithwood, K., & Hopkins, D. (2011). Successful school leadership: linking with learning and achievement. Journal of Multidisciplinary Evaluation, 10(22). De la Vega, L., (2015). Educational accountability: high and low points of its implementation and challenges for Latin America. Estudios sobre Educación, 29, 191-213. https://doi.org/10.15581/004.29.191-213 Elacqua, G., Martínez, M., Santos, H., & Urbina, D. (2016). Short-run effects of accountability pressures on teacher policies and practices in the voucher system in Santiago, Chile. School Effectiveness and School Improvement, 27(3), 385-405. https://doi.org/10.1080/09243453.2015.1086383 Elmore, R. (2014). School reform from inside out. Policy, practice, and performance. Harvard Education Press. Espínola, V., Treviño, J., Guerrero, M., & Martínez, J. (2017). Liderazgo para la mejora en escuelas vulnerables: Prácticas asociadas al cumplimiento de metas de aprendizaje. Estudios Pedagógicos, 43(1), 87-106. https://doi.org/10.4067/S0718-07052017000100006 Falabella, A. (2014). The performing school: The effects of market & accountability policies. Education Policy Analysis Archives, 22(70). https://doi.org/10.14507/epaa.v22n70.2014 Flessa, J., (2014). Learning from school leadership in Chile. Canadian and International Education, 43(1), 1-14. Fullan, M. (2016) La dirección escolar. Tres claves para maximizar su impacto. Morata. Fullan, M., & Gallagher, M. (2020) The devil is in the details: System solutions for equity, excellence, and student well-being. SAGE Publications. Gándara, F., & Randall, J. (2015). Investigating the relationship between school level accountability practices and science achievement. Education Policy Analysis Archives, 23(112). https://doi.org/10.14507/epaa.v23.2013 Gray, J., Goldstein, H., & Thomas, S. (2003). Of trends and trajectories: Searching for patterns in school improvement. British Educational Research Journal, 29(1), 83–88. https://doi.org/10.1080/0141192032000057393 Hallinger, P. (2005). Instructional leadership and the school principal: A passing fancy that refuses to fade away. Leadership and Policy in Schools, 4(3), 221–239. https://doi.org/10.1080/15700760500244793 https://doi.org/10.1590/s0104-40362017000100002 https://doi.org/10.1080/00220620.2016.1210584 https://doi.org/10.1177/0895904805276143 https://doi.org/10.15581/004.29.191-213 https://doi.org/10.1080/09243453.2015.1086383 https://doi.org/10.4067/S0718-07052017000100006 https://doi.org/10.14507/epaa.v22n70.2014 https://doi.org/10.14507/epaa.v23.2013 https://doi.org/10.1080/0141192032000057393 https://doi.org/10.1080/15700760500244793 Archivos Analíticos de Políticas Educativas Vol. 29, No. 153 18 Hallinger, P., Wang, W. C., Chen, C. W., & Li, D. (2015). Assessing instructional leadership with the Principal Instructional Management Rating Scale. Springer. https://doi.org/10.1007/978-3-319- 15533-3 Hallinger, P., & Heck, R. H. (1996). Reassessing the principal’s role in school effectiveness: A review of empirical research, 1980-1995. Educational Administration Quarterly, 32(1), 5-44. https://doi.org/10.1177/0013161X96032001002 Hallinger, P., & Ko, J. (2015). Education accountability and principal leadership effects in Hong Kong primary schools. Nordic Journal of Studies in Educational Policy, 2015(3), 30150. https://doi.org/10.3402/nstep.v1.30150 Hooge, E., Burns, T., & Wilkoszewski, H. (2012). Looking beyond the numbers: Stakeholders and multiple school Accountability. OECD Education Working Papers, 85. https://doi.org/10.1787/5k91dl7ct6q6-en Horn, A. (2013). Liderazgo escolar en Chile y su influencia en los resultados de aprendizaje (Tesis doctoral). Universidad Autónoma de Madrid. Kiefer, T., Robitzsch, A., & Wu, M. (2016). TAM: Test analysis modules. Recuperado de https://cran.r-project.org/web/packages/TAM/TAM.pdf Lavigne, A., & Chamberlain, R. (2017). Teacher evaluation in Illinois: School leaders’ perceptions and practices. Educational Assessment, Evaluation and Accountability, 29(2),179-209. https://doi.org/10.1007/s11092-016-9250-0 Leithwood, K. (2018). Postscript: Five insights about school leaders’ policy enactment. Leadership and Policy in Schools, 17(3), 391–395. https://doi.org/10.1080/15700763.2018.1496342 Leithwood, K., Day, C., Sammons, P., Harris, A., & Hopkins, D. (2006). Successful school leadership: What it is and how it influences pupil learning. National College for School Leadership. Leithwood, K., Harris, A., & Hopkins, D. (2020) Seven strong claims about successful school leadership revisited. School Leadership & Management, 40(1), 5–22. https://doi.org/10.1080/13632434.2019.1596077 Leithwood, K., Lewis, K. S., Anderson, S., & Wahlstrom, K. (2004). Executive summary: How leadership influences student learning. Learning from Leadership Project. Leithwood, K., Patten, S., & Jantzi, D. (2010). Testing a conception of how school leadership influences student learning. Educational Administration Quarterly, 46(5), 671–706. https://doi.org/10.1177/0013161X10377347 Leithwood, K., & Jantzi, D. (2006). Transformational school leadership for large-scale reform: Effects on students, teachers, and their classroom practices. School Effectiveness and School Improvement, 17(2), 201-227. https://doi.org/10.1080/09243450600565829 Letihwood, K., & Riehl, C. (2005). What we know about successful leadership. In W. Firestone & C. Riehl (Eds.), A new agenda: Directions for research on educational leadership (pp. 22–47). Teachers College Press. Lowenhaupt, R., Spillane, J. P., & Hallett, T. (2016). Education policy in leadership practice: Accountability talk in schools. Journal of School Leadership, 26(5), 783–810. https://doi.org/10.1177/105268461602600503 Lüdtke, O., Robitzsch, A., Trautwein, U., & Kunter, M. (2009). Assessing the impact of learning environments: How to use student ratings of classroom or school characteristics in multilevel modeling. Contemporary Educational Psychology, 34(2), 120–131. https://doi.org/10.1016/j.cedpsych.2008.12.001 Masters, G. N. (2016). Partial credit model. En W. J. van der Linden (Ed.), Handbook of item response theory. Volume one. Models (pp. 109–126). CRC Press. https://doi.org/10.1007/978-3-319-15533-3 https://doi.org/10.1007/978-3-319-15533-3 https://doi.org/10.1177/0013161X96032001002 https://doi.org/10.3402/nstep.v1.30150 https://doi.org/10.1787/5k91dl7ct6q6-en https://cran.r-project.org/web/packages/TAM/TAM.pdf https://doi.org/10.1007/s11092-016-9250-0 https://doi.org/10.1080/15700763.2018.1496342 https://doi.org/10.1080/13632434.2019.1596077 https://doi.org/10.1177/0013161X10377347 https://doi.org/10.1080/09243450600565829 https://doi.org/10.1177/105268461602600503 https://doi.org/10.1177/105268461602600503 https://doi.org/10.1016/j.cedpsych.2008.12.001 Cambios en las prácticas de liderazgo escolar bajo un sistema de accountability 19 McCarthy, C. J., & Lambert, R. G. (2006). Helping teachers balance demands and resources in a era of accountability. En R. G. Lambert & C. J. McCarthy (Eds.), Understanding teachers stress is an age of accountability (pp. 215–225). IAP. Minarechová, M. (2012). Negative impacts of high-stakes testing. Journal of Pedagogy / Pedagogický casopis, 3(1), 82-–100. https://doi.org/10.2478/v10159-012-0004-x MINEDUC. (2012). Impacto de la Ley SEP en SIMCE: Una mirada a 4 años de su implementación. Serie Evidencias N°8, Centro de Estudios. Ministerio de Educación. Montecinos, C., Ahumada, L., Galdames, S., Campos, F. & Leiva, M. (2015). Targets, threats and (dis) trust: The managerial troika for public school principals in Chile. Education Policy Analysis Archives, 23(87). https://doi.org/10.14507/epaa.v23.2083 Noddings, N. (2013). Education and democracy in the 21st century. Teachers College Press. OECD. (2014). TALIS 2013 results: An international perspective on teaching and learning. https://doi.org/10.1787/9789264196261-en OECD. (2012). Public and private schools: How management and funding relate to their socio-economic profile. https://doi.org/10.1787/9789264175006-en Pandya, J. Z. (2011). Overtested: How high-stakes accountability fails English language learners. Teachers College Press. Parcerisa, L., & Falabella, A. (2017). La consolidación del Estado evaluador a través de políticas de rendición de cuentas: Trayectoria, producción y tensiones en el sistema educativo chileno. Education Policy Analysis Archives, 25(89). https://doi.org/10.14507/epaa.25.3177 Paufler, N., & Sloat, E. (2020). Using standards to evaluate accountability policy in context: school administrator and teacher perceptions of a teacher evaluation system. Studies in Educational Evaluation, 64. https://doi.org/10.1016/j.stueduc.2019.07.007 Perticara, M., Roman, M., & Selman, J. (2013). Rendimiento escolar y uso de los recursos de la ley SEP. ILADES-UAH Working Papers. Portales Olivares, J. A. (2012). Understanding how vouchers impact municipalities in Chile, and how municipalities respond to market pressures. (Dissertation). The University of Texas at Austin. Quaresma, M. L., & Valenzuela, J. P. (2017) Evaluation and accountability in large-scale educational systems in Chile and its effects on student’s performance in urban schools. En W. Pink & G. Noblit (Eds.), Second international handbook of urban education (pp. 523- 539). R Core Team. (2017). R: A language and environment for statistical computing. R Foundation for Statistical Computing. https://www.R-project.org/. Raczynski, D., Muñoz, G., Weinstein, J., & Pascual, J. (2013). Subvención escolar preferencial (SEP) en Chile: Un intento por equilibrar la macro y micro política escolar. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio Educativo, 11(2). Ravitch, D. (2010). The death and life of the great American school system: How testing and choice are undermining education. Basic Books. Rivero, R. de M., Yañez, T., & Hurtado, C. (2019). Preparación para ejercer un liderazgo efectivo en Chile: Estudio de opinión a directores a partir del Marco para la Buena Dirección. Archivos Analíticos de Políticas Educativas, 27(117). https://doi.org/10.14507/epaa.27.4391 Rivero, R., Hurtado, C., & Morandé, Á. (2018). ¿Cuán preparados llegan los directores escolares?: Un análisis sobre su formación y trayectorias laborales previas a ejercer su cargo. Calidad en la Educación, (48), 17–49. https://doi.org/10.31619/caledu.n48.478 Robinson, V. (2018). Reduce change to increase improvement. Sage. Robinson, V., Lloyd, C., & Rowe, K. (2008). The impact of leadership on student outcomes: An analysis of the differential effect of leadership types. Educational Administration Quarterly, 44(5), 635–674. https://doi.org/10.1177/0013161X08321509 https://doi.org/10.2478/v10159-012-0004-x https://doi.org/10.14507/epaa.v23.2083 https://doi.org/10.1787/9789264196261-en https://doi.org/10.1787/9789264175006-en https://doi.org/10.14507/epaa.25.3177 https://doi.org/10.1016/j.stueduc.2019.07.007 https://doi.org/10.14507/epaa.27.4391 https://doi.org/10.31619/caledu.n48.478 https://doi.org/10.1177/0013161X08321509 Archivos Analíticos de Políticas Educativas Vol. 29, No. 153 20 Robinson, V., & Timperley, H.S. (2007). The leadership of the improvement of teaching and learning: lessons from initiatives with positive outcomes for students. Australian Journal of Education, 51(3), 247–262. https://doi.org/10.1177/000494410705100303 Rojas-Bravo, J. (2017). Persistent inequality: The Chilean voucher system and its impacts on socio-economic segregation and quality of education (tesis doctoral). The University of Sydney, Australia. Rosenkvist, M. (2010). Using student results for accountability and improvement: A literature review. OECD Education Working Paper, 54. https://doi.org/10.1787/5km4htwzbv30-en Shirley, D., Fernández, M. B., Ossa, M., Berger, A., & Borba, G. (2013). La cuarta vía de liderazgo y cambio en América Latina: perspectivas en Chile, Colombia y Brasil. Pensamiento Educativo. Revista de investigación Educacional Latinoamericana. 50(2), 5–27. https://doi.org/10.7764/PEL.50.2.2013.2 Stapleton, L. M., Mcneish, D. M., y Yang, J. S. (2016). Multilevel and single-level models for measured and latent variables when data are clustered. Educational Psychologist, 51(3-4), 317– 330. https://doi.org/10.1080/00461520.2016.1207178 Sun, J., & Leithwood, K. (2015). Direction-setting school leadership practices: A meta-analytical review of evidence about their influence. School Effectiveness and School Improvement, 26(4), 499– 523. https://doi.org/10.1080/09243453.2015.1005106 Taubman, P. M. (2009). Teaching by numbers: Deconstructing the discourse of standards and accountability in education. Routledge. Ulloa, J., & Rodríguez, S. (Eds) (2014). Liderazgo escolar y desarrollo profesional de docentes: Aportes para la mejora de la escuela. RIL editores Valenzuela, J., Villarroel, G., & Villalobos, C. (2013). Ley de Subvención Escolar Preferencial (SEP): Algunos resultados preliminares de su implementación. Pensamiento Educativo. Revista de Investigación Educacional Latinoamericana., 50(2), 113–131. https://doi.org/10.7764/PEL.50.2.2013.7 Verger, A., Bona, L, X., & Zancajo, A. (2016). What are the role and impact of public-private partnerships in education? A realist evaluation of the Chilean education quasi-market. Comparative Education Review, 60(2), 223–248. https://doi.org/10.1086/685557 Waslanderi, S., Pater, C., & Van der Weide, M. (2010). Markets in education: An analytical review of empirical research on market mechanisms in education. OECD Education Working Papers, 52. https://doi.org/10.1787/5km4pskmkr27-en Waters, T., Marzano, R., & McNulty, B. (2003). Balanced leadership: What 30 years of research tells us about the effect of leadership on student achievement. Mid-Continent Research for Education and Learning. Weinstein, J., Cuéllar, C., Hernández, M., & Fernández, M. (2018). Director(a) por primera vez. Un estudio sobre la experiencia y socialización de los directores noveles en establecimientos municipales de Chile. Calidad en la Educación, (44), 12–45. https://doi.org/10.31619/caledu.n44.18 West, A. (2010). High stakes testing, accountability, incentives and consequences in English schools. Policy & Politics, 38(1), 23–39. https://doi.org/10.1332/030557309X445591 Wrigley, T. (2003). Is ‘school effectiveness’ anti-democratic? British Journal of Educational Studies, 51(2), 89–112. https://doi.org/10.1111/j.1467-8527.2003.00228.x Wrigley, T., Lingard, B., & Thomson, P. (2012). Changing schools: Alternative ways to make a world of difference. Routledge. https://doi.org/10.1177/000494410705100303 https://doi.org/10.1787/5km4htwzbv30-en https://doi.org/10.7764/PEL.50.2.2013.2 https://doi.org/10.1080/00461520.2016.1207178 https://doi.org/10.1080/09243453.2015.1005106 https://doi.org/10.7764/PEL.50.2.2013.7 https://doi.org/10.1086/685557 https://doi.org/10.1787/5km4pskmkr27-en https://doi.org/10.31619/caledu.n44.18 https://doi.org/10.1332/030557309X445591 https://doi.org/10.1111/j.1467-8527.2003.00228.x Cambios en las prácticas de liderazgo escolar bajo un sistema de accountability 21 Sobre los Autores Jorge Rojas Bravo Universidad de Concepción jorgemanrojas@udec.cl ORCID: https://orcid.org/0000-0001-5209-3489 Jorge Rojas Bravo es Profesor asistente de la Universidad de Concepción, Escuela de Educación, departamento de Teoría, política y fundamentos de la educación, Campus Los Ángeles. Posee un grado de PhD en Educación, conferido por la University of Sydney, Australia. Actualmente, pertenece al grupo de investigación interdisciplinaria en educación (GIIE), y Director de la Línea de investigación del Centro +Comunidad, centro de liderazgo educativo para la mejora en red. Diego Carrasco Ogaz Pontificia Universidad Católica de Chile dacarras@uc.cl Diego Carrasco es Investigador para el Centro de Medición MIDE UC de la Pontificia Universidad Católica de Chile. Posee un grado de MRes en Psychological Methods y un PhD en Psychology, conferidos por la University of Sussex, UK. Su especialidad se concentra en la especificación de modelos de inferencia y medición para el estudio de observaciones anidadas. Esto incluye desafíos metodológicos para evaluaciones nacionales, y estudios de gran escala, especialmente para la comparación de ambientes escolares. archivos analíticos de políticas educativas Volumen 29 Número 153 15 de noviembre 2021 ISSN 1068-2341 Los/as lectores/as pueden copiar, mostrar, distribuir, y adaptar este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, los cambios se identifican y la misma licencia se aplica al trabajo derivada. Más detalles de la licencia de Creative Commons se encuentran en https://creativecommons.org/licenses/by- sa/4.0/. Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. La sección en español para Sud América de AAPE/EPAA es publicada por el Mary Lou Fulton Teachers College, Arizona State University y la Universidad de San Andrés de Argentina. Los artículos que aparecen en AAPE son indexados en CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). Sobre el consejo editorial: https://epaa.asu.edu/ojs/index.php/epaa/about/editorialTeam Por errores y sugerencias contacte a Fischman@asu.edu mailto:jorgemanrojas@udec.cl https://orcid.org/0000-0001-5209-3489 mailto:dacarras@uc.cl https://creativecommons.org/licenses/by-sa/4.0/ https://creativecommons.org/licenses/by-sa/4.0/ http://www.doaj.org/ https://epaa.asu.edu/ojs/index.php/epaa/about/editorialTeam Archivos Analíticos de Políticas Educativas Vol. 29, No. 153 22 Síganos en EPAA’s Facebook comunidad at https://www.facebook.com/EPAAAAPE y en Twitter feed @epaa_aape. https://www.facebook.com/EPAAAAPE