Políticas de Evaluación de Sistemas Educativos: Estudio Comparado entre Comunidades Autónomas Españolas en las Etapas de Educación Básica 22 Página web: http://epaa.asu.edu/ojs/ Artículo recibido: 25-04-2018 Facebook: /EPAAA Revisiones recibidas: 05-05-2019 Twitter: @epaa_aape Aceptado: 15-05-2019 archivos analíticos de políticas educativas Revista académica evaluada por pares, independiente, de acceso abierto y multilingüe Arizona State University Volumen 27 Número 106 9 de septiembre de 2019 ISSN 1068-2341 Políticas de Evaluación de Sistemas Educativos: Estudio Comparado entre Comunidades Autónomas Españolas en las Etapas de Educación Básica Gabriel Álvarez-López Universidad Autónoma de Madrid España Citación: Álvarez-López, G. (2019). Políticas de evaluación de sistemas educativos: Estudio comparado entre comunidades autónomas españolas en las etapas de educación básica. Archivos Analíticos de Políticas Educativas, 27(105). https://doi.org/10.14507/epaa.27.3844 Resumen: La relevancia de las políticas de evaluación para las agendas de los estados, las convierten en una realidad insoslayable en el análisis de los sistemas educativos. En este trabajo se presenta el análisis de las políticas que desarrollan las Comunidades autónomas españolas (Andalucía, Canarias, Cataluña y País Vasco) en el ámbito de la evaluación de sus sistemas educativos en los niveles de la educación básica. Concretamente, se estudian tanto las políticas a nivel administrativo como propiamente evaluativo y metodológico. Siguiendo una metodología comparada y a través de diferentes estrategias cualitativas de recogida y análisis de información, la investigación presenta unos resultados que significan algunas limitaciones de los programas de evaluación, que actualmente se desarrollan a nivel autonómico y aportan claridad a algunos de los actuales debates en torno a las evaluaciones de sistemas educativos. Palabras clave: política educativa; evaluación; sistema educativo; pedagogía comparada; España http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.27.3844 2 Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 Evaluation policies of educational systems: A comparative study between Spanish autonomous communities in basic education Abstract: The relevance of evaluation policies for the agendas of the states makes them an unavoidable reality in the analysis of educational systems. This paper presents an analysis of the policies developed by the Spanish autonomous communities (Andalusia, the Canary Islands, Catalonia and the Basque Country) to evaluate their education systems at the basic education levels. Specifically, both administrative and properly evaluative and methodological policies are studied. Following a comparative methodology and through different qualitative strategies of information collection and analysis, the research presents results that expose some limitations of the evaluation programs that are currently being developed at the regional level and provide clarity to current debates around the evaluations of educational systems. Key words: educational policy; evaluation; educational system; comparative pedagogy; Spain Políticas para avaliação de sistemas educacionais: Um estudo comparativo entre comunidades autônomas espanholas nos estágios da educação básica Resumo: A relevância das políticas de avaliação para as agendas dos estados torna-as uma realidade incontornável na análise dos sistemas educacionais. Este artigo apresenta a análise das políticas desenvolvidas pelas comunidades autônomas espanholas (Andaluzia, Ilhas Canárias, Catalunha e País Basco) no campo da avaliação de seus sistemas educacionais nos níveis de ensino básico. Especificamente, são estudadas políticas administrativas e devidamente avaliativas e metodológicas. Seguindo a metodologia comparativa e através de diferentes estratégias qualitativas para coletar e analisar informações, a pesquisa apresenta resultados que significam algumas limitações dos programas de avaliação que estão sendo atualmente desenvolvidos no nível regional e fornecem clareza a alguns dos debates mais atuais em torno de a avaliações de sistemas educacionais. Palavras-chave: política educacional; avaliação; sistema educativo; pedagogia comparada; Espanha Políticas de Evaluación de Sistemas Educativos 3 Introducción Las evaluaciones externas son una realidad en los sistemas educativos de los países desarrollados. Auspiciados por procesos de globalización educativa y cultural, muchos de ellos desarrollan evaluaciones a imagen y semejanza de las pruebas internacionales y otros trasplantan modelos en sus territorios sin cuestionárselos (Bonal, Tarabini & Verger, 2007; Heyneman, 2003; Kamens & Mcneely, 2010; Smith, 2014; Sobe, 2015). Evaluar es bueno, pero no a toda costa. La racionalidad performativa (Monarca, 2015) es un obstáculo para la equidad y la reducción de desigualdades sociales a través de los sistemas educativos. Por lo tanto, debemos preguntarnos qué modelo de evaluación queremos para poder responder a la pregunta de qué modelo de sociedad pretendemos. Santos Guerra (2014), refiriéndose a la evaluación educativa sostiene que la evaluación es el espejo de quién la concibe la evaluación es un fenómeno de tal complejidad que permite poner sobre el tapete todas nuestras concepciones: desde lo que es la práctica educativa hasta el modelo de sociedad que la alberga, desde la concepción del individuo hasta el tipo de cultura deseable. (…) dime lo que piensas de la evaluación (dime cómo la haces) y te diré qué tipo de persona y de profesional eres (p. 13). Estudiar cómo se están llevando a cabo las evaluaciones externas en los sistemas educativos permitiría descubrir qué tipo de sociedad busca quien diseña esas evaluaciones. Más allá de las introducciones a leyes orgánicas y de las pretensiones soñadoras de los responsables políticos, al final, cómo se evalúe define la concepción de la educación que tiene cada estado. Con este trabajo no se puede llegar tan lejos. Sería interesantísimo diseñar una investigación que relacione modelos de evaluación con modelos de sociedad que pretenden. Pero en este caso nos detenemos en un paso anterior. A través de este trabajo se pretende analizar los sistemas de evaluación de las Comunidades Autónomas españolas a partir de la idea de evaluación sistémica definida por Álvarez-López como aquella “que propicie la toma de decisiones sobre el sistema educativo desde todos los prismas posibles, global, holística, formativa, enfocada a la mejora y, por consiguiente, emancipadora” (2017a, p. 91). Asumiendo este posicionamiento, se propondrá un árbol de dimensiones, parámetros e indicadores que permita un análisis comparado exhaustivo de todas las dimensiones del proceso evaluador. Estado de la Cuestión Las políticas de evaluación de sistemas educativos son una prioridad en las agendas de los estados (McMillan & Schumacher, 2010; Pawson, 2006). Auspiciadas por iniciativas de organismos internacionales e influenciadas por algunas políticas educativas supranacionales (Tarabini & Bonal, 2011), tendencias como la rendición de cuentas o la eficacia escolar han puesto en liza la importancia de evaluar los sistemas educativos para informar a la sociedad sobre su funcionamiento y para establecer procesos de mejora (Tiana, 2009). En el caso español, la evaluación externa del sistema educativo se coordina desde el Instituto Nacional de Evaluación Educativa dependiente del Ministerio de Educación, Cultura y Deporte a través de diferentes programas que emanan de las leyes educativas y de la participación de España en programas internacionales de organismos como la OCDE o la IEA. Sin embargo, la descentralización competencial en materia educativa llevada a cabo desde principios de los años 80 hasta la actualidad (Álvarez- López, 2017b; Bonal et al., 2005; Pedró, 2009), hace necesario el análisis y el seguimiento del funcionamiento de sus Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 4 sistemas de evaluación externa tanto a nivel administrativo como a nivel netamente programático. Un análisis totalmente novedoso y sin precedentes pues no se han encontrado evidencias de que se haya realizado con anterioridad. Algo que sorprende dada la importancia del mismo por la situación política que actualmente existe en España con respecto a las competencias autonómicas y, sobre todo, por su relevancia científica y comparada. Metodología Este trabajo persigue un doble objetivo: 1) conocer los sistemas de evaluación de la educación básica en las diferentes Comunidades autónomas; y 2) realizar un estudio comparativo de los sistemas de evaluación de la educación básica de las diferentes Comunidades autónomas. Para el logro de dichos objetivos el método de investigación educativa más apropiado es el método comparado en educación (Caballero et al, 2016; Cowen & Kazamias, 2009; Egido, 2014; Larsen, 2014). Este método se compone de una serie de fases que permiten el estudio ordenado de las unidades de análisis, desarrolladas por García Garrido (1996): (I) identificación del problema y emisión de hipótesis; (II) delimitación de la investigación; (III) estudio descriptivo – interpretativo (fase analítica); (IV) fase de yuxtaposición y comparación; (V) fase de conclusiones y prospectiva. A continuación, se detallan las decisiones metodológicas más importantes. Delimitación de las Unidades de Análisis Las unidades de análisis están compuestas por objeto de estudio, ámbito y temporalidad. Veamos detenidamente cada uno de estos tres componentes. Objeto de estudio. En este trabajo, el objeto de estudio son las políticas y los programas de evaluación de los sistemas educativos. Este objeto de estudio cumple con las propiedades de comparación que debe tener todo objeto de comparación, según García Garrido (1996): carácter fenomenológico, pluralidad, homogeneidad y globalidad. Si delimitamos nuestro objeto de estudio debemos acotar algunos conceptos fundamentales. El primero de ellos es explicar qué entendemos por ‘educación básica’, y ésta se refiere a la educación formal que se corresponde con los niveles CINE 1 y CINE 2 de la Clasificación Internacional Normalizada de la Educación del 2011 aprobada en la 36ª Conferencia General de la UNESCO. El segundo término fundamental es la “evaluación sistémica del sistema educativo” y, en este caso, entendemos la ‘evaluación sistémica’ como aquella que no solamente se detiene en el rendimiento de los alumnos o en el desarrollo profesional docente, sino que trasciende hacia el funcionamiento global de los centros y del conjunto del sistema, pretendiendo inferir, al menos, de los resultados algunas conclusiones sobre los procesos. En este sentido, nos referimos a una evaluación entendida como sistémica según la Teoría General de Sistemas de Bertalanffy (1969). Por otra parte, esta evaluación será institucional, ello quiere decir que el agente evaluador es una institución pública perteneciente a la Administración educativa competente en esta materia. Conforme al método comparado se presenta un árbol de dimensiones, parámetros e indicadores de comparación perfectamente relacionados que responden al objeto de estudio. En ellos se basará el análisis comparado de las Comunidades Autónomas seleccionadas. Este árbol de dimensiones, parámetros e indicadores se presenta diferenciando las dimensiones en dos grupos, que forman parte del mismo árbol, para facilitar la lectura. El primer grupo de dimensiones se refiere a la Administración educativa y se compone de las dimensiones de “Desarrollo normativo” y “Unidad Autonómica de Evaluación” (Tabla 1). El segundo grupo de dimensiones se refiere a las propias políticas de evaluación y se compone de las dimensiones de “Sentido de la Política Evaluadora”, Políticas de Evaluación de Sistemas Educativos 5 “Programas de Evaluación” y “Conceptualización sistémica y espacios de mejora” (Tabla 2). Las dimensiones de “Desarrollo normativo” y “Unidad Autonómica de Evaluación” se refieren a aspectos administrativos y de gestión pública de las políticas evaluativas del sistema. De fondo se estará atentos al nivel de autonomía institucional de las unidades de evaluación porque se asume que la autonomía institucional es importante para lograr evaluaciones de calidad, y evitar que éstas se conviertan en un instrumento de reafirmación de políticas partidistas. Tabla 1 Árbol de dimensiones, parámetros de comparación e indicadores (I) Dimensiones, parámetros e indicadores sobre la Administración educativa DIMENSIONES PARÁMETROS INDICADORES Desarrollo normativo Competencias − Competencias desarrolladas por su legislación autonómica Desarrollo normativo − Ley autonómica − Normativa relativa a la evaluación del sistema y rango Unidad Autonómica de Evaluación Sentido institucional − Estatus de la entidad evaluadora − Fines de la institución − Objetivos de la institución − Funciones de la institución Estructura orgánica − Órganos de gobierno y dirección − Nombramiento del Presidente / Director General Estructura financiera − % Presupuesto propio − % Financiación pública − % Gastos dedicados a evaluaciones − % Gastos dedicados a personal dedicado a evaluaciones − % Gasto por estudiante escolarizado en la educación obligatoria − % Gasto de evaluaciones por estudiante escolarizado en la educación obligatoria Estructura organizativa − Organigrama − Personal en el momento de constitución relacionado con la evaluación − Acceso a los puestos de trabajo − Departamentos específicos de evaluación o seguimiento. Relación con la comunidad educativa − Canales de participación − Relación con los centros − Relación con el MECD − Relación con la Inspección Fuente: Elaboración propia Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 6 Las dimensiones referidas al “Sentido de la evaluación”, “Programas de evaluación” y “Conceptualización sistémica y espacios de mejora” ayudarán a definir las políticas de evaluación y los programas concretos de evaluación, que despliegue cada Administración educativa estudiada. La dimensión más desarrollada es la de Programas de evaluación porque abarca aspectos tan importantes como los objetos de evaluación (¿qué se evalúa?), los instrumentos (¿cómo se evalúa?), la difusión (¿qué hacen con los resultados?), la temporalidad (¿cuándo se evalúa?) o el uso de los resultados (¿para qué se evalúa?). El “Sentido de la evaluación” (¿para qué?) complementa a los “Programas de Evaluación” y permiten dibujar un árbol bastante completo de las políticas de evaluación. La dimensión central es la que se refiere propiamente a los Programas de Evaluación. El parámetro de “Dimensiones de la evaluación” hace referencia a los aspectos del sistema educativo que son evaluados por la Unidad, con especial atención a los estudiantes. Respecto a ellos, se profundiza hasta los cursos en los que son evaluados y las competencias sobre las que son evaluados. Con el parámetro de “Tipos de indicadores” incorporamos al estudio un matiz relevante, ya que los sistemas de indicadores están sirviendo a las administraciones para conocer mejor sus sistemas; y, de facto, sí se utilizan como evaluaciones, aunque estrictamente no lo sean; así que, con este parámetro, se analizan los sistemas de indicadores educativos de las Comunidades Autónomas. A través del parámetro de “Instrumentos y estrategias de recogida de información” se estudian las técnicas de recogida de información que utilizan las unidades de evaluación en sus programas, tanto instrumentos como estrategias según las define Bisquerra (2004). Además, incorporamos el indicador de “Pruebas censales o muestrales” porque esta característica tiene estrecha relación con los objetivos de la evaluación, y en las entrevistas se detectó un debate en torno a esta dicotomía. Los dos parámetros sobre resultados, “Difusión de resultados” y “Uso de los resultados” son esenciales porque, fundamentalmente a través de los informes, las unidades de evaluación intervienen en la comunidad educativa. La forma en la que presentan los resultados, extensión, pretensiones (informativa, explicativa, propositiva), destinatarios de los informes, etc., son elementos esenciales de las políticas de evaluación de los sistemas educativos. Por su parte, la utilización que haga la Administración y la propia entidad evaluadora de esos resultados también va a ser determinante para el sistema; tanto si pretende controlarlo como si busca la mejora del mismo, las estrategias que surgirán a partir de la obtención de los resultados serán diferentes. Por último, la “Temporalidad de la evaluación” alude tanto a la periodicidad de las evaluaciones como al momento de las mismas. El calendario de las evaluaciones es importante porque determinará en gran medida la utilización de los resultados y la utilidad de las propias evaluaciones. Finalmente, la dimensión de “Conceptualización sistémica y espacios de mejora” se compone de dos parámetros, “Conceptualización de la evaluación del sistema educativo” y “Necesidades de mejora”. Una vez que se han estudiado los organismos responsables y las políticas y programas de evaluación se analiza, a través de las entrevistas semiestructuradas, cómo definen el sistema y qué correspondencia existe con la realidad. Un ejercicio de síntesis y de cierre que muestra la espiral a la que se somete continuamente la reflexión en torno a la práctica. Políticas de Evaluación de Sistemas Educativos 7 Tabla 2 Árbol de dimensiones, parámetros de comparación e indicadores (II) Dimensiones, parámetros e indicadores sobre las políticas y programas de evaluación DIMENSIONES P PARÁMETROS INDICADORES Sentido de la política evaluadora − Existencia de plan general de evaluación − Finalidad de la evaluación − Objetivos de la evaluación − Influencia de las evaluaciones internacionales Programas de Evaluación − Dimensiones de la evaluación − Administración educativa − Aspectos socioeducativos − Centro educativo − Dirección educativa − Docentes − Estudiantes o Competencias o Cursos − Inspección educativa − Programas y proyectos − Tipos de indicadores (Sistema de) − Contexto y Recursos − Entrada − Proceso − Productos − Instrumentos y estrategias de recogida de información − Cuestionarios − Documentación pedagógica − Entrevistas / Grupos de discusión − Historias de vida − Observación directa / Visitas − Pruebas de rendimiento − Registros anecdóticos y descriptivos − Técnicas sociométricas − Test − Censales o muestrales − Difusión de los resultados − Informes a centros − Informes a familias − Informes a la Admón. educativa − Informes ad hoc − Informes públicos − Página web − Reuniones con la Inspección − Sesiones informativas − Otros canales de difusión − Uso de los resultados − Comparación entre centros por ISEC − Establecimiento de rankings − Impacto presupuestario − Impacto retributivo en los docentes − Planes de mejora − Carácter de los informes Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 8 Fuente: Elaboración propia Con estas cinco dimensiones se cubren ampliamente todos los requerimientos que emanan de los objetivos de la investigación. Pero al iniciarse el estudio descriptivo se advirtió la necesidad de elaborar un árbol de dimensiones, parámetros e indicadores para el apartado de Contexto (Tabla 3). Este árbol es importante pues al referirse al contexto va a servir para situar las Comunidades Autónomas sobre la base de parámetros como demografía, crecimiento económico y bienestar, inversión en educación, organización e impacto de los aprendizajes. Dentro de la dimensión Contexto general encontramos los parámetros de “Demografía” y “Crecimiento económico y bienestar”. En el parámetro de “Demografía” se analizarán indicadores como la población total, el crecimiento relativo proyectado 2014 – 2029 (MECD, 2016), la extensión territorial, la densidad de población, el porcentaje de población joven, el porcentaje de población rural, la población activa o las tasas de desempleo y de paro juvenil. Todos estos indicadores están relacionados con el ámbito de manera más o menos directa y servirán para situar las políticas de cada Comunidad en función de su realidad demográfica. El “Crecimiento económico y bienestar” es un parámetro importante a la hora de contextualizar las políticas educativas de una determinada región. Está compuesto por indicadores tanto económicos como de bienestar. En el caso de los indicadores económicos presentamos el PIB per cápita y la renta anual neta media. En los indicadores de bienestar recogemos información sobre el Índice de GINI, el riesgo de pobreza o exclusión social, la esperanza de vida al nacer y la satisfacción media de la población de la región con su vida y con el sentido y propósito de la misma. La dimensión de Contexto Educativo Básico se centra ya en aspectos netamente del ámbito educativo. Aunque se hable de inversión, se trata de indicadores económicos sobre educación, y va a permitir situar a cada comunidad educativa en su contexto educativo más inmediato, que será un elemento importante a la hora de estudiar las políticas educativas de cada región. Esta dimensión se compone de tres parámetros: “Inversión en Educación”, “Organización” e “Impacto de los aprendizajes”. El parámetro de “Inversión en Educación” viene determinado por cuatro indicadores económicos: el gasto en Educación, porcentaje de gasto por Comunidad Autónoma, el Gasto público por alumno de centro público y concertado y, por último, el Gasto público por alumno únicamente de centro público. El parámetro “Organización” hace referencia a algunos indicadores sobre centros y docentes. Está compuesto por tres indicadores: porcentaje de centros públicos, número de alumnos por profesor y el número de alumnos por grupo educativo en centros públicos. Por último, el parámetro “Impacto de los aprendizajes” se compone de una serie de indicadores que pretenden medir la eficiencia y los resultados educativos de las Comunidades Autónomas. Los indicadores que analizan para medir el “Impacto de los aprendizajes” son, por una parte, tasa de abandono escolar temprano, la tasa de idoneidad a los 12 años, el porcentaje de alumnado repetidor y el porcentaje de alumnado extranjero. Por otra parte, se utilizan indicadores que tienen su razón de ser en la construcción del Índice de Capacidades Educativas (ICE) desarrollado por Bonal et al. (2005). Este índice surge como adaptación del Índice de Nivel Educativo (INE) que diseñó Naciones Unidas, concretamente el Programa de las Naciones Unidas para el Desarrollo (PNUD), como uno de los componentes del Índice de Desarrollo Humano (IDH). Tal y como señalan Bonal et − Temporalidad de la evaluación − Trimestre de las pruebas − Mes de envío de informes − Evaluaciones realizadas / año o Anual – censal Conceptualización sistémica y espacios de mejora − Conceptualización de la evaluación del sistema educativo − Necesidades de mejora Políticas de Evaluación de Sistemas Educativos 9 al. (2005) “la aplicación de este índice a las CCAA españolas ofrece unos resultados que se alejan mucho de los mínimos mundiales y no permiten diferenciar internamente entre los territorios” (p. 126), así que adaptaron la fórmula del INE de la siguiente forma (2005, p. 126): Y lo explican de la siguiente manera En nuestro caso sustituimos el stock de alfabetización por el del porcentaje de población activa con estudios postobligatorios y restringimos el flujo de escolarización a un indicador de escolarización de enseñanza postobligatoria como es el de la población de 17 años en el sistema educativo. Las nuevas variables nos proporcionarán una medida más ajustada de la diferenciación entre CCAA (p. 127). Para llegar a esta fórmula, Bonal et al. (2005) proponen una serie de índices de los que se hace eco este trabajo, si bien ellos toman los valores del curso 2001 – 2002, ahora se han adaptado los índices al curso 2013 – 2014, que son los últimos datos disponibles. Así pues: • el porcentaje de Población Activa que ha terminado los estudios postobligatorios (A>ESS). • el Índice de las capacidades de la población activa (INEPA) se calcula de acuerdo al nivel máximo y mínimo de las CCAA, donde Madrid tiene el valor máximo con 72,1 y Extremadura el valor mínimo con 42,7, por lo tanto, el INEPA = (X-42,7) / (72,1-42,7) • la Tasa Neta de Escolarización a los 17 años en Enseñanzas de Régimen General (E17). • el Índice de las capacidades escolares secundarias de la población de 17 años (IE17) “se calcula de acuerdo con el límite máximo de escolarización (100%) respecto a un valor mínimo arbitrario que nosotros fijamos en una tasa del 50% de la población escolarizada” (Bonal et al., 2005, p. 129). Por lo tanto, IE17 = (X-50) / (100-50). Ahora resulta más sencillo calcular el ICE, porque una vez determinados estos indicadores, el ICE queda de la siguiente forma (Bonal et al., 2005, p. 129): Por último, y para facilitar la lectura del ICE en la fase comparada, se presenta también el ICE con relación al ICE de España. Es decir, si el ICE de España es 0,57 este valor se entiende como igual a 100 (0,57 = 100, así que ICE de CCAA= X*0,57/100) y de esta forma sabremos si las CCAA están por encima o por debajo de la media española de una forma más clara. Con todos estos indicadores es posible aproximarse al parámetro de “Impacto en los aprendizajes” de cada Comunidad Autónoma de una manera bastante consistente. ICE = 2/3 Población Activa con estudios secundarios – postobligatorios + 1/3 Escolarización 17 años. ICE = 2/3INEPA + 1/3 IE17 Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 10 Tabla 3 Árbol de dimensiones, parámetros de comparación e indicadores de contexto DIMENSIONES PARÁMETROS INDICADORES Contexto general Demografía − Población total − Crecimiento relativo proyectado 2014 – 2029 − Extensión territorial − Densidad de población − % de población de 0 a 29 años − % de población rural − Población activa − Tasa de desempleo − Paro Juvenil Crecimiento económico y bienestar − PIB per cápita − Renta anual neta media − Gini 2012 − Riesgo de pobreza o exclusión social − Esperanza de vida al nacer − Satisfacción global con su vida − Sentido y propósito con la vida Contexto Educativo Básico Inversión en Educación − Gasto en Educación − % Gasto por CCAA sobre gasto total. − Gasto público por alum púb y concert − Gasto público por alumno público Organización − Centros públicos / Centros privados − Número de alumnos por profesor − Número de alumnos por aula Impacto del aprendizaje − Tasa de matriculación − Tasa de abandono − % de alumno repetidor − % alumno extranjero − A>ESS: %Población activa (25 – 64 años) que ha terminado los estudios post-obligatorios. − INEPA: Índice de las capacidades de la población activa − E17: Tasa Neta de Escolarización a los 17 años en Enseñanzas de Régimen General − IE17: Índice de las capacidades escolares secundarias de la población de 17 años − CIE: Índice de Capacidades Educativas. − ICE = 100 Fuente: Elaboración propia Políticas de Evaluación de Sistemas Educativos 11 Con estos dos árboles de dimensiones, parámetros e indicadores, el de Administración y Políticas y el de Contexto, queda perfectamente delimitado el objeto de estudio. Ámbito de estudio. El ámbito de estudio apela a la territorialización del objeto de investigación (las políticas y los programas de evaluación de los sistemas educativos). El ámbito permite responder a la pregunta de ¿dónde comparo?, habitualmente países, a nivel nacional (intranacional o internacional) o supranacional (Caballero et al, 2016). En esta investigación, el ámbito de estudio será intranacional, es decir, la comparación se establece entre unidades de análisis con una dimensión administrativa, geográfica, política, social y económica, inferior al estado – nación. Las unidades de análisis han sido seleccionadas en función de dos criterios. El primero de ellos (Criterio 1) responde a la elección de aquellas Comunidades Autónomas que tuvieran sistemas de evaluación activos en los últimos cinco años en el momento de redactar el proyecto de tesis (de 2008 en adelante). esto se debe a la conveniencia de que exista una cultura evaluativa en la región y se acredite experiencia, pensando en poder realizar un estudio longitudinal del objeto de análisis. El segundo criterio (Criterio 2) pretende seleccionar a CCAA que vayan más allá de los aprendizajes. La conveniencia de este criterio radica en el interés que despiertan evaluaciones más integrales de los sistemas, que incluyan aspectos como la dirección escolar, los docentes o la propia administración (autoevaluación institucional). Estos criterios de selección de las unidades de comparación son complementarios, esto es, se deben cumplir ambos para que la Comunidad Autónoma haya sido seleccionada. Posteriormente, se introduce un tercer criterio (Criterio 3) que se aplica una vez cumplidos los dos anteriores y consiste en la necesidad de que las evaluaciones estén activas y disponibles al menos desde el 2011, por considerarse que no es suficiente con que la normativa contemple esas evaluaciones, sino que se deben estar llevando a cabo. Tras una revisión de la normativa, de las publicaciones sobre evaluaciones y de su actividad evaluadora en general, encontramos que únicamente cuatro Comunidades cumplen con los tres criterios de selección: Andalucía, Canarias, Cataluña y País Vasco. Temporalización. La temporalidad responde a la pregunta cuándo comparar, es decir, si se realiza un estudio que analice los movimientos educativos, cambios y su evolución a lo largo del tiempo (temporalidad dinámica) o, por el contrario, si se analizan acontecimientos educativos en un momento determinado y concreto de la historia (temporalidad estática). En este caso, la temporalidad es estática. Se estudia cómo son y cómo evalúan actualmente las instituciones encargadas de la evaluación del sistema educativo dentro de la educación básica, sin pretender hacer un estudio longitudinal en el tiempo de cómo han ido evolucionando. Ello, además, adquiere todo su sentido en esta investigación, dado el objeto de estudio de la misma, ya que la instauración de evaluaciones de la educación básica por parte de las CCAA es relativamente reciente en el tiempo y un estudio dinámico no aportaría excesiva información a las conclusiones de nuestro estudio comparado. El segmento temporal escogido es el curso 2014–2015 como el idóneo para detenernos en el estudio de nuestras unidades de comparación. Definición del Método: Estrategias de Recogida y Análisis de la Información En este estudio se han combinado dos métodos diferentes: la revisión y análisis documental y las entrevistas semiestructuradas. En primer lugar, se realizó una revisión y análisis de diferentes fuentes de las Comunidades Autónomas seleccionadas, teniendo en cuenta los indicadores del árbol de dimensiones, parámetros e indicadores definido previamente. Para esta revisión y análisis se recopilaron fuentes primarias (legislación y documentos propios de las Comunidades Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 12 Autónomas) y secundarias (MECD, INEE y Eurydice España – REDIE). Para los datos contextuales, la mayor parte de la información se ha recogiddo del Instituto Nacional de Estadística y del propio Ministerio de Educación, Cultura y Deporte a partir de sus publicaciones estadísticas. En segundo lugar, para la realización de las entrevistas semiestructuradas, los participantes fueron seleccionados por sus responsabilidades en torno a las evaluaciones de los sistemas educativos autonómicos en el ámbito de la educación básica. Se procuraron perfiles políticos y técnicos con el fin de recoger testimonios de los principales perfiles de responsabilidad institucional. Los miembros de los comités científicos completaban las dos perspectivas política y técnica con una visión más académica e investigadora de la realidad de cada Comunidad Autónoma. En el caso de Canarias no ha sido posible entrevistar a miembros del comité científico porque actualmente no está constituido por encontrarse en pleno proceso de reforma institucional. El análisis de las mismas se llevó a cabo con la herramienta Atlas.ti, siguiendo los consejos de Gibbs (2012) y de Rapley (2014) para una correcta realización de una transcripción básica. Resultados Al plantear esta investigación se mantenía la idea de que en España no se realizaban evaluaciones sistémicas del sistema educativo, ni a nivel nacional ni a nivel autonómico. Se pretendía analizar entonces qué se estaba haciendo, cómo se estaba haciendo y de qué manera se planteaban las evaluaciones. Seguramente se reproducirían los modelos del INEE en los organismos autonómicos, y las CCAA se limitarían prácticamente a ampliar muestras en sus territorios. Al comenzar la investigación, con la revisión de la literatura, se puso de manifiesto que este campo tan trabajado internacionalmente, no había suscitado suficiente interés a nivel intranacional cuando, desde nuestro punto de vista, los matices eran muchos. Unidades Autonómicas de Evaluación y sus Grados de Autonomía Primeramente, se detuvieron en la autonomía de la institución evaluadora y el desarrollo de la evaluación externa del sistema. La “autonomía de la institución evaluadora” se estudió desde su sentido institucional, su estructura orgánica y organizativa, su estructura financiera, y la relación que mantiene con la comunidad educativa (Anexos 1 al 6). El grado de autonomía se puede dividir en dos aspectos: por un lado, la autonomía político- institucional y, por otro lado, la autonomía técnico-metodológica. En cuanto a la autonomía político – institucional, se encontraron con organizaciones controladas por la Administración educativa, y por su color político. No se quiere transmitir la idea de que esto sea necesariamente negativo, simplemente limita la autonomía político-institucional de las organizaciones. Tal es así, que en las entrevistas de los casos canario y catalán se evidenció que ellos se consideran herramientas del sistema sobre el que tienen que aportar información. Se puede hablar, por lo tanto, de autonomía secuestrada, pues en un principio se les dota de independencia al constituirse como “agencia” / “instituto” / “consejo” y luego en la práctica se les retira mucha de la autonomía que esos términos llevan asociada. Siguiendo la clasificación de Calero & Choi (2012) en este caso se cuenta con instituciones de los grupos 2 y 31. Es interesante resaltar el caso catalán, que se encuentra en un momento de transición de una estructura de “consejo” a otra de “agencia”, y los propios responsables de las evaluaciones reconocen que desde que se efectúe el cambio, su grado de autonomía político – institucional aumentará y sus competencias también. 1 Recordemos que la clasificación de estos autores se compone de tres grupos ordenados de forma creciente por su grado de autonomía, siendo el grupo 1 el que menos independencia presenta con respecto a la Administración educativa y el grupo 3 el más independiente. Políticas de Evaluación de Sistemas Educativos 13 En relación a la autonomía técnico – metodológica, las Unidades Autonómicas de Evaluación (UAE) estudiadas tienen un alto grado de autonomía en la determinación de las metodologías y las técnicas que van a utilizar en cada uno de los programas de evaluación. Esta autonomía técnica es indiscutible dado el carácter especializado de estos organismos, con profesionales capacitados para diseñar, implementar y evaluar estos programas. Por lo tanto, estamos ante organizaciones sin una independencia manifiesta desde el punto de vista político – institucional, pero con amplia autonomía en el diseño y desarrollo de los programas de evaluación. Esta afirmación no es per se negativa para la institución, tal y como defiende el Coordinador del Equipo de Didáctica del ISEI – IVEI si tú quieres que tu trabajo tenga incidencia en las dinámicas de funcionamiento del Departamento tienes que estar dentro, y eso supone perder parte de autonomía, pero a cambio llegas con facilidad a la Inspección, a los centros, puedes dirigirte directamente a los equipos directivos, estar cerca de los berritzegunes… todo tiene sus pros y sus contras (PV_CED, transcripción, página 9 línea 18). La falta de autonomía político – institucional puede no ser un problema si existe un reconocimiento explícito del trabajo realizado por la Unidad de Evaluación correspondiente, una apuesta decidida por la evaluación del sistema educativo por parte de los responsables políticos (del color político que sean), una financiación previsible y mantenida en el tiempo, y un compromiso social por una educación pública donde la educación no sea un arma arrojadiza entre partidos políticos ni entidades afines (relación con la comunidad educativa). Esta enumeración de requisitos puede parecer compleja, pero los responsables de la evaluación del País Vasco presumen de que en su región se dan, y le confieren al ISEI – IVEI mayor prestigio dentro del sistema y mayor tranquilidad a los implicados. Por otra parte, la autonomía de la entidad evaluadora es determinante en las evaluaciones que realiza. Pero es que, además, existe otro aspecto determinante en el diseño institucional para el correcto desarrollo de las funciones que le son asignadas a estas organizaciones: su flexibilidad. En el estudio ha quedado comprobado como la estructura organizativa y sobre todo las políticas de contratación y de régimen laboral de los trabajadores, son fundamentales para que la organización responda a las necesidades del sistema. Ha quedado demostrado cómo la configuración departamental o de equipos en las Unidades Autonómicas, en muchas ocasiones, carecen de fundamento por las circunstancias sobrevenidas del funcionamiento del sistema. Estas organizaciones distribuyen a su personal en función de las evaluaciones que tienen que desarrollar, y muchas veces no se corresponde con lo previsto en el organigrama, e incluso tienen previstos departamentos o equipos que actualmente no funcionan. Además, la contratación del personal y el régimen laboral del mismo, a partir de esta investigación, se considera un factor limitante, tal y como actualmente está definido. Las instituciones evaluadoras no tienen facilidad para contratar personal específico para evaluaciones que lo requieran. Políticas y Programas de Evaluación En lo que respecta a las convergencias y divergencias entre las CCAA en su forma de evaluar el sistema de educación básica de su territorio, se presupuso que los sistemas de evaluación de las Comunidades Autónomas mantendrían claras semejanzas unos con otros en los aspectos que marca la LOE (Ley Orgánica de Educación) y la LOMCE (Ley Orgánica para la Mejora de la Calidad Educativa), pero divergirían en la metodología de aplicación y en el sistema de indicadores utilizado. Se entendió por “metodología de aplicación” todo aquello relacionado con las políticas y los programas de evaluación: sentido de la política evaluadora, conceptualización de la evaluación del sistema educativo, Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 14 dimensiones de las evaluaciones, instrumentos y estrategias de recogida de información, difusión y uso de los resultados y temporalidad de las evaluaciones. De esta forma, se puede afirmar que las políticas y los programas de evaluación no difieren tanto entre las Comunidades Autónomas, las convergencias son bastante comunes. Existe una tendencia clara hacia una evaluación orientada a la mejora, centrada en las competencias adquiridas por los estudiantes, con un peso predominante de los resultados sobre los procesos y con un carácter anual y censal. Las divergencias también tienen su cuota de presencialidad, y se manifiestan en todos los parámetros, pero de forma discreta, pues en términos generales las convergencias son más importantes. Sentido de las evaluaciones. Primeramente, se encontraron evaluaciones pensadas para orientar la mejora del sistema, formativas, pero sin renunciar a la orientación de las políticas educativas (Anexo 7). Las Comunidades evalúan para orientar políticas, la evaluación es política. En sí mismo esto no reviste mayor peligro, pero al combinarlo con otro aforismo como que “la política es priorizar unos aspectos sobre otros”, entonces las evaluaciones pueden tener implicaciones importantes en el devenir de los sistemas educativos. Una razón más para apostar por la independencia de los organismos evaluadores. En lo que a divergencias se refiere, y siempre con pretensión de ejemplificarlas, el País Vasco no explicita su intencionalidad de orientar las políticas educativas desde las evaluaciones. Dimensiones de las evaluaciones. Seguidamente, ya dentro de los Programas de Evaluación, se identificó una clara convergencia hacia la evaluación de estudiantes y de programas educativos (Anexo 8.1, 8.2, 8.3 y 8.4). Dentro de la evaluación a los estudiantes, se encontraron más convergencias en las competencias evaluadas y en los instrumentos de evaluación de estas competencias. Las convergencias también están presentes en el plano de las ausencias, pues ninguna Comunidad ni programa evalúa a los docentes, a la dirección, al funcionamiento de los centros, ni a la propia Administración o al impacto de las políticas educativas. Los responsables de las evaluaciones autonómicas que participaron en el estudio también adujeron limitaciones técnicas y presupuestarias para diseñar e implementar programas de evaluación que se ocupen de estas dimensiones del sistema, pero incluso estas limitaciones pueden ser minimizadas con voluntad política. La evaluación del profesorado, de su desarrollo personal y profesional (y esto incluye su desempeño docente) se reconoce como una necesidad, pero de momento no se realiza en ninguna Comunidad Autónoma de las estudiadas y, por supuesto, en ninguna Comunidad Autónoma española. Actualmente, hay regiones que realizan evaluación de centros a través de indicadores, pero es claramente insuficiente si queremos obtener unos resultados que nos permitan actuar en la mejora real de los centros educativos. Dentro del apartado de las divergencias, sirva como ejemplo que únicamente Cataluña y ocasionalmente Euskadi, evalúa la competencia científico – tecnológica a sus estudiantes. Tipos de indicadores. En cuanto a los sistemas de indicadores, y recordando que existe falta de consenso en el número óptimo de indicadores, en este caso no estaríamos ni ante un sistema parsimonioso ni extenso, utilizando la tipología de Ogawa & Collom (1998), porque el problema reside en que está descompensada la presencia de unos tipos sobre otros (Anexos 9.1 y 9.2). Se encuentran divergencias en el peso de cada tipo de indicadores, a pesar de que todas las Comunidades que disponen de sistema autonómico de indicadores sobredimensionan los indicadores de resultados. La existencia de los sistemas de indicadores, que entendemos útil e importante, puede servir como excusa a las Comunidades Autónomas para no evaluar los aspectos que de forma incompleta ya se recojan en los indicadores. Por ejemplo, si en el sistema de indicadores se recogen indicadores de procesos educativos como la participación en los consejos escolares, no Políticas de Evaluación de Sistemas Educativos 15 puede ser una razón para no evaluar la participación de las familias, los docentes o los estudiantes en otros foros o, incluso dentro de la participación en los consejos escolares, quizás sea interesante para esa región o para ese centro analizar cómo es esta participación y si se puede mejorar la calidad de la misma. Instrumentos y estrategias de recogida de información. En el parámetro de los instrumentos y las estrategias de recogida de información (Anexo 10), se identifica una clara convergencia hacia las técnicas que favorecen análisis cuantitativos frente a las técnicas enfocadas hacia análisis cualitativos. Además, todas las Comunidades Autónomas realizan pruebas censales de rendimiento de los estudiantes y, salvo en el caso vasco, todas tienen carácter anual. Las convergencias en los instrumentos y las estrategias de recogida de información seguramente tengan mucho que ver con la influencia técnica que ejercen los organismos internacionales y que los propios técnicos de las Unidades Autonómicas de Evaluación han reconocido en las entrevistas. No se puede emitir una afirmación rotunda al respecto, pero en este trabajo se presentan indicios suficientes para señalarlo. Sobre el carácter censal de las pruebas, si no son evaluaciones de certificación o de acreditación académica, se debe caminar hacia evaluaciones muestrales, que son menos costosas y quizás permitan incorporar instrumentos y estrategias de recogida de información de corte cualitativo. En lo que a divergencias en los instrumentos y estrategias de recogida de información se refiere, Andalucía y País Vasco son las únicas regiones estudiadas que incorporan entrevistas y grupos de discusión en algunos de sus programas de evaluación; y la Agencia canaria es la única que no realiza evaluaciones muestrales. Difusión y uso de los resultados. Los aspectos relacionados con la difusión y el uso de los resultados son los que más convergen de todos los parámetros estudiados (Anexos 11.1, 11.2 y 11.3). Existe prácticamente unanimidad entre Comunidades sobre los canales de difusión de resultados empleados, con claro protagonismo del informe. A raíz del estudio, se puede afirmar que, dependiendo de la finalidad de la evaluación, el informe debe tener un carácter u otro (informativo, explicativo o propositivo). A juicio del autor, y teniendo en cuenta lo expuesto por los responsables de las evaluaciones autonómicas, el informe podría llegar a ser explicativo en un momento concreto del programa, pero no debería pretender ser propositivo, pues las propuestas de mejora del sistema se deben emitir en un trabajo conjunto por los evaluadores, los inspectores, los asesores, los implicados (centros, docentes, directores y familias) y seguramente también los responsables políticos de las Administraciones educativas (dependiendo del caso podrían incluso participar los responsables de los gobiernos locales). Es decir, las propuestas de mejora deben ser un trabajo sinfónico entre todos los implicados. Y las coincidencias se extienden a los usos de los resultados, con una evidente supremacía de los planes de mejora, aupados por la imposibilidad legal de generar rankings o la falta de interés en que las evaluaciones tengan impacto presupuestario o retributivo. En el apartado de divergencias en la difusión de los resultados, Euskadi es la única región que realiza informes de resultados ad hoc para los colectivos interesados y junto con Canarias son las regiones que llevan a cabo reuniones con la Inspección para afrontar planes de mejora más globales. Asimismo, sobre las divergencias en el uso de los resultados, encontramos que Cataluña y País Vasco son las únicas que elaboran comparaciones entre centros (teniendo en cuenta sus contextos socioeconómicos); además, Andalucía y Canarias son las regiones que más lejos llegan en la intencionalidad de sus informes, pues elaboran propuestas para la Administración. Temporalización de las evaluaciones. La temporalidad de las evaluaciones tiene implicaciones importantes en la toma de decisiones para la mejora. Como se puso de Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 16 manifiesto durante las entrevistas, no existe un momento idóneo para realizar las pruebas. Pero tan importante es escoger un buen momento para recoger la información como para emitir los informes. Si se pretende que las evaluaciones sirvan para la mejora, estas deben llegar en el momento en el que se concretan las acciones para el siguiente curso y los centros tienen margen para incorporar las posibles mejoras a los documentos pertinentes. Por otra parte, como hemos comprobado en esta investigación, las regiones eligen darles a las evaluaciones de rendimiento de los estudiantes un carácter anual. Sin embargo, siguiendo el razonamiento que hacen desde el ISEI – IVEI, quizás no sean necesarias evaluaciones anuales, sino que una vez que ya tienes ajustadas las herramientas, puedas distanciarlas en el tiempo y hacerlas, al menos, bianuales. Los sistemas no cambian tan rápidamente (sabiendo además que los resultados de unas evaluaciones no llegan a tiempo a incorporarse a las mejoras del curso siguiente) y, si se quiere hacer un seguimiento cercano del sistema, programar evaluaciones bianuales puede resultar igual de útil para los tomadores de decisiones y para los centros. En lo que a divergencias en la temporalidad de las evaluaciones se refiere, sirva como ejemplo que País Vasco no tiene evaluaciones anuales mientras que el resto de Comunidades sí. El hecho de que las convergencias sean más importantes que las divergencias no significa que las Comunidades tengan políticas de evaluación que sirvan para conocer el estado del sistema en toda su amplitud y puedan servir para establecer procesos de mejora en todos sus componentes, sino simplemente, que tienen carencias significativas en los mismos aspectos y sus políticas y programas están lejos de una concepción sistémica de la evaluación de sistemas educativos. Por lo tanto, se puede concluir que la evaluación que las Comunidades autónomas realizan, en términos generales, no difiere entre ellas. No obstante, las trayectorias, la inversión, la autonomía de la institución y el consenso social en torno a las evaluaciones son ingredientes fundamentales para que estas sean realmente útiles en la mejora del sistema de educación básica. Conceptualización Sistémica de la Evaluación y Espacios de Mejora La evaluación del sistema educativo, aunque en un principio pueda parecer que no debería suscitar debate en torno a su conceptualización, permite inferir cuáles son las prioridades de cada Comunidad Autónoma en las políticas que desarrollen, porque su definición está llena de matices. Fundamentalmente, todas las Comunidades estudiadas entienden que la evaluación del sistema educativo debe ser capaz de medir la eficacia del sistema, esto es, el grado de cumplimiento de los objetivos del mismo. Además, en algunos casos, se espera de esta evaluación que aporte información útil a los tomadores de decisiones y que explique las causas de los resultados obtenidos en las variables estudiadas. Pues bien, para que la evaluación del sistema educativo pueda dar respuesta a estas dos últimas pretensiones, el estudio que hemos desarrollado nos lleva a pensar que es necesaria una perspectiva sistémica; porque no se deben explicar resultados o aportar información útil con una evaluación tan limitada como la que actualmente desarrollan todas las Comunidades Autónomas españolas. Así pues, se entiende la evaluación sistémica como aquella evaluación que tenga por objeto a los alumnos, pero también al centro educativo, la dirección escolar, los docentes, la Administración educativa y/o los diferentes programas específicos con los que cuente la Administración. Una evaluación que propicie la toma de decisiones sobre el sistema educativo desde todos los prismas posibles, global, holística, formativa, enfocada a la mejora y, por consiguiente, emancipadora. Una evaluación que surge desde la administración pública de la Comunidad Autónoma hacia el sistema educativo en su territorio en su conjunto, pero que mantiene su independencia política e institucional, con un Políticas de Evaluación de Sistemas Educativos 17 profundo sentido de equidad, justicia social y participación democrática de toda la comunidad educativa (Álvarez-López, 2017a, p. 91). Los espacios de mejora se orientan hacia una evaluación más integral, holística del sistema. Reconocen la necesidad de evaluar más y mejor. Sin embargo, no están dispuestos a implementar esas mejoras si eso va a conllevar la pérdida de alguno de los programas que actualmente desarrollan, como exponían en el caso andaluz. Las mejoras oscilan entre algunos aspectos puntuales (más dimensiones, más instrumentos, más participación de la comunidad educativa) hasta una reconceptualización radical de las políticas educativas y evaluativas. A lo largo de todo el proceso de recogida de información, especialmente durante el trabajo de campo, se ha comprobado que las Comunidades Autónomas estarían dispuestas a poner en marcha alguna de estas posibles mejoras, pero todas requieren del consenso de la comunidad educativa y, especialmente, del visto bueno del gobierno regional. Por lo tanto, el proceso de incorporación de cambios, innovaciones, mejoras, es un proceso lento. Así pues, se puede afirmar que para desarrollar una cultura de la evaluación es necesario ilustrar didácticamente las implicaciones que conllevan los programas. Ser meridianamente claro, transparente, exige explicar lo que no significa esa evaluación y, sobre todo, las ventajas que les va a reportar a los implicados. A Modo de Conclusión A la luz de los resultados expuestos, se extraen una serie de conclusiones generales que nos deben servir para reflexionar acerca de la importancia de las políticas evaluación de los sistemas educativos y que pueden servir para orientar procesos de mejora en los mismos. Coincidencia del Agente Evaluador y el Agente Evaluado A partir de este trabajo se está en condiciones de afirmar que el diseño institucional y el diseño de las políticas están relacionados. Ya lo esbozamos al referirnos al grado de autonomía de las Unidades Autonómicas de Evaluación, y cómo un modelo institucional más separado de la Administración educativa confería más autonomía a la institución evaluadora, sólo por su configuración en el organigrama de la Consejería. Ahora nos centraremos en un aspecto diferente. El análisis comparado y la lectura transversal del mismo nos permite señalar que el grado de autonomía está relacionado inversamente con la coincidencia de agente evaluador y agente evaluado y, por lo tanto, a mayor independencia mayor garantía de éxito en el diseño de políticas de evaluación. En este momento no se debe confundir ‘grado de autonomía’ con ‘modelo institucional’, pues más allá de la clasificación que le demos al modelo institucional, la autonomía puede ser mayor o menor según la voluntad política. Por ejemplo, el caso vasco, que en la clasificación de Calero & Choi (2012) estaría en el grupo 2 de independencia institucional, creemos que tiene mayor autonomía que el caso andaluz que Calero y Choi situaban en el grupo 3. El ISEI – IVEI tiene una estructura orgánica y organizativa con más independencia política – institucional que la AGAEVE, aunque estos últimos tienen mayor independencia económica porque cuentan con presupuesto propio (que sigue siendo una transferencia de la Administración educativa). Tras esta reflexión se puede refrendar la idea de que una mayor autonomía dificulta la coincidencia del evaluador y el evaluado y esto favorece el desarrollo de programas y políticas de evaluación. Esto es importante porque si el agente al que se evalúa es el mismo que diseña dicha evaluación estaremos facilitando sesgos desde el diseño de los programas de evaluación hasta los resultados de las evaluaciones. Sesgos en el diseño porque sólo se evaluarán aquellos aspectos que más convengan políticamente a la Administración, Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 18 proponiendo quizás evaluaciones sobre programas que tengan éxito o dimensiones del sistema en las que salgan reforzados; dejando de lado, por consiguiente, programas de evaluación sobre aspectos olvidados políticamente o que se prevengan resultados negativos. Sesgos en los resultados porque estos se podrán someter a procesos de edulcoración si son muy negativos o incluso a la no publicación de los mismos si el decisor político así lo estima oportuno. Así que, un mayor grado de autonomía político- institucional y técnico- metodológica favorece el desarrollo de programas de evaluación. Esta conclusión tiene que ver con la pregunta de investigación referente a si es la evaluación la que define las políticas o, por el contrario, son las políticas las que definen las evaluaciones. Se trata de un interesante debate que emerge directamente del análisis de los resultados y que las Comunidades Autónomas lejos de resolverlo lo han avivado: ¿qué debería ser anterior la evaluación o la política? Es decir, el debate gira en torno a si la evaluación debe ser un instrumento al servicio de la política educativa, o si debe ser una evaluación independiente la que marque a la política las líneas sobre las que trabajar. Si se asume la primera hipótesis, se está aceptando el peligro de que desde la política se decida no evaluar aquellos aspectos del sistema que se necesitan mejorar, pero políticamente no interesa mostrar sus deficiencias. Por el contrario, si se toma la segunda hipótesis, es posible que se pongan en marcha evaluaciones que no interesen a los políticos y por lo tanto no tendrán ningún impacto en el sistema, a pesar de que su implementación sea el resultado de un proceso de análisis de las necesidades del sistema. Retomando en este punto la propuesta de evaluación sistémica, no parece consecuente considerar la evaluación del sistema educativo como la suma de las evaluaciones de las diferentes dimensiones del sistema. La evaluación del sistema educativo es algo más. Se pueden utilizar evaluaciones parciales para ir construyendo una evaluación del sistema, como un puzzle de evaluaciones, pero se le debe dar el carácter sistémico, y no perder de vista que el objeto de esta evaluación es el sistema educativo. Con esta finalidad quizás no sean necesarias las evaluaciones censales y debamos caminar hacia evaluaciones muestrales. Si el objetivo es obtener información individual, personalizada, de cada estudiante y de cada centro, probablemente se deban promover evaluaciones internas en los centros, o utilizar las evaluaciones educativas que hagan los propios docentes de sus estudiantes. En esta idea del carácter particular de la evaluación del sistema educativo, deberíamos considerar la posibilidad de dejar las investigaciones para un tratamiento más específico de aspectos concretos que se consideren importantes estudiar en profundidad, quizás también desde la perspectiva del sistema, pero de forma puntual. Políticas Suprarregionales y “Paredes – Espejo” A continuación, se sugiere la existencia de estas situaciones peculiares, y se aprovecha este trabajo para presentarlas, sin pretensión de rotundidad. De la misma forma que palabras como alquilar o sancionar tienen un significado y su contrario, los procesos que presentamos a continuación se dan al mismo tiempo y en sentidos opuestos, adaptando el recurso lingüístico de la enantiosemia o palabras autoantónimas, en nuestro caso estaríamos ante procesos autoantónimos. El estudio comparado que se ha realizado ha conducido a un concepto novedoso. Se han encontrado políticas, iniciativas, programas, que, sin estar determinadas por el Estado, son compartidas por las Comunidades en el marco de sus competencias. Este tipo de situaciones se han “suprarregionales”. Se estaría, por lo tanto, ante políticas suprarregionales. Políticas que puedan ser resultado de influencias tanto supranacionales como internacionales, pero que se saltan el nivel nacional, federal o estatal, y se comparten en el nivel autonómico por algunas comunidades (no necesariamente todas, pues entonces estaríamos ante un nivel nacional o estatal). Desde luego que no es pretensión de este trabajo delimitar una nueva área de saber pedagógico, pues no tiene el marcado carácter de Políticas de Evaluación de Sistemas Educativos 19 otros como, por ejemplo, la política supranacional (Valle, 2013). Sin embargo, sí que se estaría en condiciones de denominarlo “hallazgo”. Es necesario profundizar en ello y con el tiempo y futuras investigaciones podremos ver si llega a tener peso epistemológico. En este momento, únicamente se puede señalar el avistamiento –desde la mirada comparada– de este tipo de comportamientos políticos. Este hallazgo se puede concretar en algunas iniciativas políticas supranacionales como el desarrollo de Unidades Autonómicas de Evaluación externas al organigrama de la consejería competente en materia educativa, la intencionalidad de orientar las políticas educativas que tienen las evaluaciones, la concentración de las pruebas en el segundo trimestre del curso, o el carácter anual y censal de al menos una de las evaluaciones que se realizan desde las Comunidades estudiadas. Sería necesario profundizar en la influencia que sobre estas políticas ejercen los organismos internacionales o la mirada comparada con otros Estados. Asimismo, aunque suene paradójico, en este estudio también se ha comprobado que se produce el efecto contrario: políticas que se desarrollan en unas Comunidades no son conocidas por otras Comunidades. A este efecto se le ha denominado “paredes espejo”, pues las Comunidades Autónomas parecen estar provistas de paredes en las que únicamente se ven a sí mismas. A pesar de los mecanismos de coordinación, los responsables de unas Comunidades Autónomas no saben qué están haciendo las regiones vecinas o incluso aquellas en las que les gustaría mirarse. Es un fenómeno curioso. Durante las visitas a las Unidades Autonómicas de Evaluación para la realización de las entrevistas semiestructuradas, los responsables de cada región se interesaban por saber qué estaban haciendo en otras Comunidades, qué soluciones estaban dando a problemas que seguramente fueran comunes, etc. Intentan mirar hacia fuera, a sus semejantes, pero sólo se pueden ver a sí mismos, la información no fluye entre regiones. Futuras Líneas de Investigación La inmediata línea de investigación que se deduce a partir de este trabajo es aquella que amplíe la muestra de Comunidades Autónomas y abarque toda la población, las diecisiete Comunidades y las dos ciudades autónomas. Otra futura línea de investigación podría ir dirigida a la incorporación de otros colectivos implicados (directores, docentes, familias y/o inspección educativa). La adhesión de otros colectivos a la investigación, prácticamente obliga a contar con otras metodologías complementarias al análisis documental y las entrevistas. Desde el punto de vista cualitativo, el diseño de grupos de discusión sería una herramienta interesante. Desde el punto de vista cuantitativo, los cuestionarios aportan información complementaria a las entrevistas y los grupos de discusión. Las ventajas que aporta la metodología cuantitativa, a través de su principal instrumento –los cuestionarios, irían en tres direcciones: generalización de resultados, ampliaciones de la muestra y relación entre variables. Si son factibles las posibilidades que ofrecen los cuestionarios y la metodología de análisis cuantitativo, se tendría en cuenta su integración. Por último, sería igualmente sugestivo complementar la metodología cualitativa y comparada de esta investigación con metodologías más cercanas a la Ciencia Política, a través de la evaluación de políticas públicas o evaluaciones de impacto como las que propone el Institut Català d'Avaluació de Polítiques Públiques (Ivàlua, 2015). La reflexión ha suscitado una serie de “otras investigaciones” que no deberían dejarse de lado, y que están directamente relacionadas con este estudio. Por una parte, un estudio sobre cómo han ido evolucionando las políticas de evaluación en las Comunidades Autónomas españolas. Además, serían sumamente sugestivas investigaciones dirigidas a corroborar o desmentir la existencia de las situaciones que se planteaban como autoantónimos. Seguramente las investigaciones sobre el desarrollo de políticas autonómicas en el ámbito educativo vayan en aumento en los próximos años, pues el campo es tan novedoso como Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 20 importante. Así que, tanto la mirada suprarregional como las dificultades de comunicación y coordinación entre unidades intranacionales (efecto de las “paredes espejo”) pueden ser elementos susceptibles de interés para los investigadores. Agradecimientos El autor de este trabajo quiere dar las gracias a todas las instituciones que participaron en el estudio, así como a todos los responsables políticos, técnicos y asesores que por motivos de ética investigadora no puedo citar nominalmente. Además, es pertinente agradecer al Grupo de Investigación sobre Políticas Educativas Supranacionales de la Universidad Autónoma de Madrid su apoyo durante la realización de esta investigación. Referencias Álvarez- López, G. (2017a). La evaluación de la educación básica en el sistema educativo español: Estudio comparado en el ámbito de las Comunidades Autónomas. (Tesis Doctoral). Madrid: Universidad Autónoma de Madrid. Álvarez- López, G. (2017b). Descentralización educativa y evaluación de sistemas educativos: Conceptualización y análisis del caso español. RIESED, International Journal of Studies in Educational Systems, 7(2), 52–73. Bertalanffy, L. von (1969). General System Theory: Foundations, development, applications (Rev. ed.). New York: George Braziller. Bonal, X., Tarabini, A., & Verger, A. (Comps.) (2007). Globalización y educación. Textos fundamentales. Buenos Aires: Miño y Dávila. Bonal, X., Rambla, X., Calderon, E., & Pros, N. (2005). La descentralización educativa en España. Una mirada comparativa a los sistemas escolares de las Comunidades Autónomas. Estudis 18. Barcelona: Fundació Carles Pi i Sunyer. Caballero, Á., Manso, J., Matarranz, M., & Valle, J. M. (2016). Investigación en educación comparada: Pistas para investigadores noveles. Revista Latinoamericana de Educación Comparada, 39, 39–56. Calero, J., & Choi, A. (2012). La evaluación como instrumento de política educativa. Presupuesto y Gasto Público, 67, 29–42. Cowen, R. & Kazamias, A. M. (Eds.) (2009). International handbook of comparative education. Dordrecht: Springer. Egido, I. (2014). Veinte años de educación comparada en España: Un repaso a las publicaciones del periodo 1994–2014. Revista Española de Educación Comparada, 24, 125–151. García Garrido, J. L. (1996). Fundamentos de Educación Comparada. (3ª ed.). Madrid: Dykinson. Gibbs, G. (2012). El análisis de datos cualitativos en Investigación Cualitativa. Colección Investigación Cualitativa. Madrid: Morata. Heyneman, S. P. (2003).The history and problems in the making of education policy at the World Bank 1960–2000, International Journal of Educational Development, 3(23), 315– 337. Ivàlua. (2015). Guía práctica 11 – Cómo evaluar el impacto de las políticas educativas. Colección Ivàlua de guías prácticas sobre evaluación de políticas públicas. Barcelona: Ivàlua. Kamens, D. H., & Mcneely, C. L. (2010). Globalisation and the growth of international educational testing and national assessment. Comparative Education Review, 54(1), 5– 25. Larsen, M. (2014). Pensamiento innovador en Educación Comparada. Homenaje a Robert Cowen. Madrid: UNED. Políticas de Evaluación de Sistemas Educativos 21 McMillan, J., & Schumacher, S. (2010). Research in education: Evidence-based inquiry (7th ed.). London: Pearson. MECD. (2016). Las cifras de la educación en España. Curso 2013–2014. Madrid: MECD. Monarca, H. (Coord.) (2015). Evaluaciones externas. Mecanismos para la configuración de representaciones y prácticas en educación. Madrid: Ed. Miño & Dávila. Ogawa, R., & Collom, E. (1998). Educational indicators: What are they? How can schools and schools districts use them? California: California Educational Research Cooperative. Recuperado de: http://www.eric.ed.gov/PDFS/ED432811.pdf. Pawson, R. (2006). Evidence-based policy: A realist perspective. Londres: SAGE. Pedró, F. (2009). La descentralización educativa en España: Ina evaluación empírica. En V. Navarro, La situación social en España. III (pp. 353–386). Madrid: Fundación Francisco Largo Caballero. Rapley, T. (2014). Los análisis de la conversación, del discurso y de documentos en Investigación Cualitativa. Colección Investigación Cualitativa. Madrid: Morata. Santos Guerra, M. A. (2014). La evaluación como aprendizaje. Cuando la flecha impacta en la diana. Madrid: Ed. Narcea. Smith, W. C. (2014). The global transformation toward testing for acountability. Education Policy Analysis Archives, 22(116). http://dx.doi.org/10.14507/epaa.v22.1571 Sobe, N. W. (2015). All that is global in not world culture: Accountability systems and educational apparatuses. Globalisation, Societies and Education, 13(1), 135–148. http://dx.doi.org/10.1080/14767724.2014.967501 Tarabini, A., & Bonal, X. (2011). Globalización y política educativa: Los mecanismos como método de estudio. Revista de Educación, 355, 235–255. Tiana, A. (2009). Evaluación y cambio educativo: Los debates actuales sobre las ventajas y los riesgos de la evaluación. En E. Martín & F. Martínez Rizo (Coords.), Avances y desafíos en la evaluación educativa (pp. 17– 6). Madrid: OEI – Fundación Santillana. Valle, J. M. (2013). Supranational education: A new field of knowledge to address educational policies in a global world. Journal of Supranational Policies of Education, 1, 7–30. http://www.eric.ed.gov/PDFS/ED432811.pdf http://dx.doi.org/10.14507/epaa.v22.1571 http://dx.doi.org/10.1080/14767724.2014.967501 Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 22 Anexo 1 Tabla 4 Sentido institucional de las Unidades Autonómicas de Evaluación AGAEVE ACCUEE CSESE ISEI – IVEI Año de creación 2008 2014 1993 2001 Estatus de la entidad Agencia administrativa Agencia autónoma Organismo de consulta y asesoramiento Servicio de Apoyo al Departamento de Educación Fines − Fomentar la cultura de la evaluación. − Homologar los criterios y métodos de evaluación del sistema educativo andaluz con los de los organismos similares nacionales y europeos − Colaborar en la promoción de la evaluación continua − Favorecer la consecución de los objetivos educativos propios de cada centro docente − Fomentar la evaluación y acreditación del profesorado. − Contribuir, en su ámbito, a la mejora general de la calidad del Sistema Educativo Público de Andalucía. Garantizar la calidad de las enseñanzas universitarias y de las no universitarias canarias Análisis y evaluación externa del sistema educativo de nivel no universitario de Cataluña (Preámbulo del Decreto 305/1993) La evaluación general del sistema educativo, promover la investigación educativa en el ámbito no universitario y mantener un Servicio de documentación y de recursos relacionados con el ámbito educativo Objetivos Faltan los estatutos Efectuar una tarea de análisis y evaluación externa del sistema educativo de nivel no universitario de Cataluña (art.1 Decreto 305/1993) No se especifican Fuente: elaboración propia http://epaa.asu.edu/ojs/ Políticas de Evaluación de Sistemas Educativos 23 Anexo 2 Tabla 5 Funciones de las Unidades Autonómicas de Evaluación AGAEVE ACCUEE CSESE ISEI – IVEI Asesorar a la propia Administración educativa • • Colaborar con otros organismos e instituciones nacionales e internacionales en programas de evaluación del sistema educativo (Universidades, Organismos Internacionales, INEE, Inspección educativa, otros Servicios de la Admón. educativa) • • • • Colaborar en la formación de profesorado • Difundir los resultados a la comunidad educativa y a la sociedad en general • • • Diseñar e implementar evaluaciones y estudios para la mejora de la calidad educativa • • • • Elaborar el sistema de indicadores de calidad del sistema educativo autonómico • • • Elaborar los informes de las evaluaciones • • • • Elaborar, desarrollar y aplicar planes plurianuales de evaluación • • • Evaluar diferentes componentes de sistema educativo Centros (también promover la autoevaluación) • • Estudiantes • • Función directiva • • Programas y proyectos • • • Profesorado: actividades docentes, formación, gestión… • Servicios Educativos • Sistema Educativo (general) • • • • Inspección educativa • Fuente: elaboración propia Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 24 Anexo 3 Tabla 6 Estructura orgánica de las Unidades Autonómicas de Evaluación y nombramiento de los cargos unipersonales AGAEVE ACCUEE CSESE ISEI – IVEI Órganos de Gobierno Consejo Rector • • • • Presidencia • • • Director • • • Equipo Directivo • • Secretaría General • • • Comité Científico • • • Nombramiento del Presidente (Cargo político) Consejo de Gob. Consejero de Educ. - Nombramiento del Director Consejo de Gob. Consejo de Gob. - Consejero de Educ. Nombramiento del Secretario General Consejero de Educ. No se especifica No se especifica - Fuente: elaboración propia http://epaa.asu.edu/ojs/ Políticas de Evaluación de Sistemas Educativos 25 Anexo 4 Tabla 7 Estructura financiera de las Unidades Autonómicas de Evaluación para el año 2015 Andalucía Canarias Cataluña País Vasco Porcentaje Cuantía Porcentaje Cuantía Porcentaje Cuantía Porcentaje Cuantía % Presupuesto propio 0% 0€ 0% 0€ 0% 0€ 0% 0€ % Financiación pública 100% 2.463.834€ 100% 584.084€ 100% 1.467.850€ 100% 920.157€ % Gastos dedicados a evaluaciones 61,2% 1.507.170€ 88,1% 514.720€ 56,5% 829.579€ 89,6% 824.892€ % Gastos dedicados a salarios de personal dedicado a la evaluación No se puede saber No se puede saber 45,1% 263.736€ No se puede saber No se puede saber No se puede saber No se puede saber Total de estudiantes en Educación básica 995.543 215.595(*) 775.238 204.066 Gasto por estudiante escolarizado en la educación obligatoria - 2,47€ - 2,71€(*) - 1,89€ - 4,51€ Gasto de evaluaciones por estudiante escolarizado en la educación obligatoria - 1,51€ - 1,22€(*) - 1,07€ - 4,04€ Fuente: elaboración propia (*) En este caso el Programa presupuestario dedicado a evaluaciones no distingue entre evaluaciones de la educación obligatoria y las universitarias, así que el ratio se hace contabilizando a los estudiantes de Primaria, ESO, Grado y Máster Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 26 Anexo 5 Tabla 8 Estructura organizativa y Personal de las Unidades Autonómicas de Evaluación AGAEVE ACCUEE CSESE ISEI – IVEI Departamentos Evaluación de Centros, Planes y Servicios Evaluación de Programas Equipo de Métodos Evaluación de la Función Docente y Directiva Equipo de Didáctica Evaluación del Alumnado y Gal. del Sistema Educativo Evaluación Educativa Equipo de Psicopedagogía Equipo de Organización Escolar Nº de personal 20 14 28 23 Acceso Comisión de servicios Comisión de servicios Comisión de servicios Concurso de Méritos (funcionario docente) / Comisión de Servicios RPT Sin aprobar Heredada, pendiente de modificación. No consta Aprobada Fuente: elaboración propia Anexo 6 Tabla 9 Relación con la comunidad educativa de las Unidades Autonómicas de Evaluación AGAEVE ACCUEE CSESE ISEI – IVEI Canales de participación Comisiones (docentes y familias) Comisiones (docentes) Comisiones (docentes y otros órganos del Departamento) Comisiones (docentes) Recogida de sugerencias Recogida de sugerencias Relación con la comunidad educativa Agencia Buena percepción Buena percepción Buena percepción Buena relación Evaluaciones Mala percepción Mala percepción Útiles Útiles / Excesivas Relación con los centros Cordial pero distante Cordial pero distante Cordial Cordial Relación con la Inspección Cordial y colaborativa Cordial pero distante Cordial y colaborativa Cordial y colaborativa Relación con el MECD – INEE Distanciamiento Distancia- miento Distanciamiento Cordial pero distante Fuente: elaboración propia Políticas de Evaluación de Sistemas Educativos 27 Anexo 7 Tabla 10 Sentido de las políticas y programas de evaluación Plan Gal. de Evaluación Finalidades de las evaluaciones Objetivos de las evaluaciones / Prioridades Influencia de las Ev.Internacionales A n d a lu c ía Sí a. Contribuir a mejorar la calidad y la equidad de la educación. b. Orientar las políticas educativas. c. Aumentar la transparencia y la eficacia del sistema educativo. d. Ofrecer información sobre el grado de cumplimiento de los objetivos de mejora establecidos por la Consejería competente en materia de educación e. Proporcionar información sobre el grado de consecución de los objetivos educativos, así como del cumplimiento de los compromisos educativos contraídos en relación con la demanda de la sociedad andaluza y las metas fijadas en el contexto de la UE 1. Promover evaluaciones y estudios que contribuyan a la mejora del rendimiento escolar y a la calidad de la enseñanza 2. Contribuir, en su ámbito, a la mejora general del sistema educativo público de Andalucía a partir de la realización de estudios y el análisis de sus resultados 3. Realizar estudios sectoriales para la detección de fortalezas y oportunidades de mejora Referentes técnicos C a n a ri a s No a. Contribuir a mejorar la calidad y la equidad de la educación b. Orientar las políticas educativas c. Aumentar la transparencia y eficacia del sistema. d. Ofrecer información sobre el grado de cumplimiento de los objetivos de mejora establecidos por las administraciones educativas e. Proporcionar información sobre el grado de consecución de los objetivos españoles y europeos, así como del cumplimiento de los compromisos contraídos en relación con la demanda de la sociedad española y las metas fijadas en el contexto de la UE. f. Mejorar los rendimientos escolares del alumnado, contribuir a la disminución del fracaso escolar y del abandono escolar temprano No se especifican Referentes técnicos No aportan información nueva C a ta lu ñ a No a. Contribuir a mejorar la calidad, eficiencia y equidad del sistema b. Colaborar en la transparencia del sistema educativo c. Analizar y aportar información sobre el grado de consecución de los objetivos educativos d. Rendir cuentas y ofrecer información sobre el proceso educativo, sus agentes y sus resultados e. Realizar el análisis prospectivo del sistema educativo f. Orientar y elaborar recomendaciones sobre políticas y prácticas educativas g. Promover la igualdad de oportunidades y posibilidades educativas No se especifican Referentes técnicos Inspiradoras Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 28 Tabla 10 cont. Sentido de las políticas y programas de evaluación Plan Gal. de Evaluación Finalidades de las evaluaciones Objetivos de las evaluaciones / Prioridades P a ís V a s c o Sí a. Fortalecimiento y mejora de los resultados de las evaluaciones b. Establecimiento de nuevos retos educativos 1. Investigación de metodologías de trabajo en el aula más efectivas para el desarrollo del currículo por competencias 2. Elaboración de procedimientos e instrumentos para evaluar todas las competencias básicas 3. Fomento de la cultura de la evaluación en general y de la autoevaluación en los centros docentes, servicios, programas y actividades que conforman el sistema educativo 4. Priorización de las propuestas de mejora 5. Homologación de indicadores, criterios y métodos de evaluación e investigación del sistema educativo del País Vasco con los utilizados por otros organismos similares autonómicos, estatales e internacionales 6. Diseño e implementación de evaluaciones e investigaciones propias en relación con los objetivos diferenciales del sistema educativo de la Comunidad Autónoma del País Vasco 7. Participación en las evaluaciones de carácter estatal, con las adaptaciones necesarias y coherentes con los objetivos del sistema educativo vasco 8. Establecimiento de cauces que favorezcan la evaluación e investigación del sistema educativo para su mejora, fomentando la participación conjunta de centros escolares, del ISEI – IVEI y departamentos educativos universitarios 9. Mejora del sistema de indicadores de educación, especialmente de los relacionados con los objetivos educativos europeos para el año 2020 en relación con el abandono escolar, educación infantil, rendimiento en secundaria medido a través de las pruebas PISA, titulados superiores o formación a lo largo de la vida Referentes técnicos Repercusión mediática Fuente: elaboración propia Políticas de Evaluación de Sistemas Educativos 29 Anexo 8.1 Mapa 1. Dimensiones del sistema educativo evaluadas Fuente: elaboración propia Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 30 Anexo 8.2 Tabla 11 Programas de evaluación propios de las Comunidades Autónomas Andalucía Canarias Cataluña País Vasco Dimensiones Administración educativa - - - - Aspectos socioeducativos - - - - Centro educativo X - - X Dirección escolar * - - - Docentes X - - X Estudiantes • * • • Inspección educativa - * - - Programas y proyectos • * • • Fuente: elaboración propia. Leyenda: (X) las consideran necesarias, pero no las hacen (*) se están diseñando. Anexo 8.3 Mapa 2. Competencias y cursos evaluados en la evaluación de estudiantes Fuente: elaboración propia Políticas de Evaluación de Sistemas Educativos 31 Anexo 8.4 Tabla 12 Cursos y competencias evaluadas a los estudiantes en el curso 2014/15 Andalucía Canarias Cataluña País Vasco 2º Prim 3º Prim 6º Prim 4º ESO 4º Prim 2º ESO C o m p e te n c ia s Aprender a aprender Científico – tecnológica • X X Conciencia y expresiones culturales Digital L in g ü ís ti c a Cooficial • • • • • Castellana • • • • • • Extranjera • • • X X Matemática • • • • • • Sentido y espíritu emprendedor Sociales y cívicas Fuente: elaboración propia. Leyenda: (X) competencias variables, no se aplican en todas las ediciones. Anexo 9.1 Gráfica 1. Distribución de los tipos de indicadores en los sistemas autonómicos de indicadores de las CCAA Fuente: elaboración propia Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 32 Anexo 9.2 Tabla 13 Tipos, número y porcentaje de indicadores que forman parte de los sistemas de indicadores autonómicos del año 2015 Andalucía Canarias Cataluña País Vasco Indicadores Contexto 4/10,8% – 4/17,4% 1/3,8% Recursos 7/19% 5/21,8% - Procesos -* 5/21,8% 1/3,8% Resultados 17/46% 9/39% 24/92,3% Totales 37 0 23 26 Fuente: elaboración propia (*) No tiene indicadores de procesos, pero incorpora indicadores de Escolarización (9/24,3%). Anexo 10 Tabla 14 Instrumentos de evaluación utilizados por las diferentes CCAA en sus programas Andalucía Canarias Cataluña País Vasco Cuestionarios • • • • Documentación pedagógica • - • - Entrevistas – Grupos de discusión • - - • Historias de vida - - - - Observación directa – Visitas • - • • Pruebas de rendimiento • • • • Registros anecdóticos y descriptivos - - - - Técnicas sociométricas - - - - Test - - - - Censales o muestrales Ambas Censales Ambas Ambas Fuente: elaboración propia Políticas de Evaluación de Sistemas Educativos 33 Anexo 11.1 Tabla 15 Difusión de los resultados de las evaluaciones Andalucía Canarias Cataluña País Vasco Informes a centros • • • • Informes a familias • • • • Informes a la Admón. Educativa • • - • Informes ad hoc (administraciones públicas, colectividades de centros, asociaciones, etc.) - - - • Informes públicos • • (bianual) • • Página web • • • • Reuniones con Inspección - • - • Sesiones informativas / Ruedas de prensa • • • • Otros canales de difusión (correo electrónico, teléfono, centros de formación de profesorado…) • • • • Fuente: elaboración propia Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 34 Anexo 11.2 Mapa 3. Uso de los resultados de las evaluaciones en las CCAA Fuente: elaboración propia Anexo 11.3 Tabla 16 Uso de los resultados de las evaluaciones Andalucía Canarias Cataluña País Vasco Comparación entre centros por ISEC • - • • Establecimiento de rankings - - - - Impacto presupuestario - - - - Impacto retributivo en los docentes - - - - Planes de mejora • • • • Carácter de los informes Informativos / Propositivos* Informativos / Propositivos* Informativos Informativos – Explicativos Fuente: elaboración propia Políticas de Evaluación de Sistemas Educativos 35 Anexo 12 Tabla 17 Temporalidad de las evaluaciones realizadas por las CCAA en el curso 2014/15 Andalucía Canarias Cataluña País Vasco Trimestre de las pruebas 2T y 3T 2T y 3T 2T y 3T 2T Mes de envío de informes Julio - Octubre Junio - Julio Abril / Junio Abril Evaluaciones / año Anual 3 1 3 0 Censal 2 1 3 1 Fuente: elaboración propia. Leyenda: 1T: Septiembre – Diciembre; 2T: Enero – Marzo; 3T: Abril - Junio Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 36 Sobre el Autor Gabriel Álvarez-López Universidad Autónoma de Madrid g.alvarez@uam.es Licenciado en Pedagogía por la Universidad de Salamanca (2009), Máster en Acción Solidaria Internacional de Europa por la Universidad Carlos III de Madrid (2010), Máster en Calidad y Mejora de la Educación por la Universidad Autónoma de Madrid (2013) y Máster en Políticas Públicas y Sociales por la Universitat Pompeu Fabra de Barcelona y la Johns Hopkins University (2015). Es Doctor en Educación por la Universidad Autónoma de Madrid con el trabajo titulado “La evaluación de la Educación básica en el sistema educativo español: un estudio comparado en el ámbito de las Comunidades Autónomas” calificada con Sobresaliente Cum Laude. Dicha investigación le reportó el VIII Premio Nacional Pedro Roselló que otorga la Sociedad Española de Educación Comparada a la mejor tesis doctoral de los años 2016 y 2017. Es profesor asociado en la Universidad Autónoma de Madrid, Universidad de Salamanca y Universidad Nebrija. Miembro del Grupo de Investigación sobre Políticas Educativas Supranacionales (GIPES). Las líneas de investigación en las que actualmente está trabajando son: la eva luación de sistemas educativos, la política educativa comparada y el desarrollo profesional docente. archivos analíticos de políticas educativas Volumen 27 Número 106 9 de septiembre 2019 ISSN 1068-2341 Los/as lectores/as pueden copiar, mostrar, distribuir, y adaptar este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, los cambios se identifican y la misma licencia se aplica al trabajo derivada. Más detalles de la licencia de Creative Commons se encuentran en https://creativecommons.org/licenses/by-sa/2.0/. Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. La sección en español para Sud América de AAPE/EPAA es publicada por el Mary Lou Fulton Teachers College, Arizona State University y la Universidad de San Andrés de Argentina. Los artículos que aparecen en AAPE son indexados en CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). Por errores y sugerencias contacte a Fischman@asu.edu Síganos en EPAA’s Facebook comunidad at https://www.facebook.com/EPAAAAPE y en Twitter feed @epaa_aape. https://creativecommons.org/licenses/by-sa/2.0/ http://www.doaj.org/ http://www.doaj.org/ https://www.facebook.com/EPAAAAPE Políticas de Evaluación de Sistemas Educativos 37 archivos analíticos de políticas educativas consejo editorial Editor Consultor: Gustavo E. Fischman (Arizona State University) Editores Asociados: Armando Alcántara Santuario (Universidad Nacional Autónoma de México), Angelica Buendia (Metropolitan Autonomous University), Alejandra Falabella (Universidad Alberto Hurtado, Chile), Veronica Gottau (Universidad Torcuato Di Tella), Antonio Luzon (Universidad de Granada), José Luis Ramírez (Universidad de Sonora), Paula Razquin (Universidad de San Andrés), Maria Alejandra Tejada- Gómez (Pontificia Universidad Javeriana, Colombia) Claudio Almonacid Universidad Metropolitana de Ciencias de la Educación, Chile Ana María García de Fanelli Centro de Estudios de Estado y Sociedad (CEDES) CONICET, Argentina Miriam Rodríguez Vargas Universidad Autónoma de Tamaulipas, México Miguel Ángel Arias Ortega Universidad Autónoma de la Ciudad de México Juan Carlos González Faraco Universidad de Huelva, España José Gregorio Rodríguez Universidad Nacional de Colombia, Colombia Xavier Besalú Costa Universitat de Girona, España María Clemente Linuesa Universidad de Salamanca, España Mario Rueda Beltrán Instituto de Investigaciones sobre la Universidad y la Educación, UNAM, México Xavier Bonal Sarro Universidad Autónoma de Barcelona, España Jaume Martínez Bonafé Universitat de València, España José Luis San Fabián Maroto Universidad de Oviedo, España Antonio Bolívar Boitia Universidad de Granada, España Alejandro Márquez Jiménez Instituto de Investigaciones sobre la Universidad y la Educación, UNAM, México Jurjo Torres Santomé, Universidad de la Coruña, España José Joaquín Brunner Universidad Diego Portales, Chile María Guadalupe Olivier Tellez, Universidad Pedagógica Nacional, México Yengny Marisol Silva Laya Universidad Iberoamericana, México Damián Canales Sánchez Instituto Nacional para la Evaluación de la Educación, México Miguel Pereyra Universidad de Granada, España Ernesto Treviño Ronzón Universidad Veracruzana, México Gabriela de la Cruz Flores Universidad Nacional Autónoma de México Mónica Pini Universidad Nacional de San Martín, Argentina Ernesto Treviño Villarreal Universidad Diego Portales Santiago, Chile Marco Antonio Delgado Fuentes Universidad Iberoamericana, México Omar Orlando Pulido Chaves Instituto para la Investigación Educativa y el Desarrollo Pedagógico (IDEP) Antoni Verger Planells Universidad Autónoma de Barcelona, España Inés Dussel, DIE-CINVESTAV, México José Ignacio Rivas Flores Universidad de Málaga, España Catalina Wainerman Universidad de San Andrés, Argentina Pedro Flores Crespo Universidad Iberoamericana, México Juan Carlos Yáñez Velazco Universidad de Colima, México javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/816') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/819') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/820') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/4276') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/1609') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/825') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/797') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/823') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/798') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/555') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/814') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/2703') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/801') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/826') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/802') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/3264') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/804') Archivos Analíticos de Políticas Educativas, Vol. 27 No. 106 38 education policy analysis archives editorial board Lead Editor: Audrey Amrein-Beardsley Editor Consultor: Gustavo E. Fischman (Arizona State University) Associate Editors: Melanie Bertrand, David Carlson, Lauren Harris, Eugene Judson, Daniel Mirka Koro- Ljungberg, Daniel Liou, Scott Marley, Molly Ott, Iveta Silova (Arizona State University) Cristina Alfaro San Diego State University Amy Garrett Dikkers University of North Carolina, Wilmington Gloria M. Rodriguez University of California, Davis Gary Anderson New York University Gene V Glass Arizona State University R. Anthony Rolle University of Houston Michael W. Apple University of Wisconsin, Madison Ronald Glass University of California, Santa Cruz A. G. Rud Washington State University Jeff Bale University of Toronto, Canada Jacob P. K. Gross University of Louisville Patricia Sánchez University of University of Texas, San Antonio Aaron Bevanot SUNY Albany Eric M. Haas WestEd Janelle Scott University of California, Berkeley David C. Berliner Arizona State University Julian Vasquez Heilig California State University, Sacramento Jack Schneider University of Massachusetts Lowell Henry Braun Boston College Kimberly Kappler Hewitt University of North Carolina Greensboro Noah Sobe Loyola University Casey Cobb University of Connecticut Aimee Howley Ohio University Nelly P. Stromquist University of Maryland Arnold Danzig San Jose State University Steve Klees University of Maryland Jaekyung Lee SUNY Buffalo Benjamin Superfine University of Illinois, Chicago Linda Darling-Hammond Stanford University Jessica Nina Lester Indiana University Adai Tefera Virginia Commonwealth University Elizabeth H. DeBray University of Georgia Amanda E. Lewis University of Illinois, Chicago A. Chris Torres Michigan State University David E. DeMatthews University of Texas at Austin Chad R. Lochmiller Indiana University Tina Trujillo University of California, Berkeley Chad d'Entremont Rennie Center for Education Research & Policy Christopher Lubienski Indiana University Federico R. Waitoller University of Illinois, Chicago John Diamond University of Wisconsin, Madison Sarah Lubienski Indiana University Larisa Warhol University of Connecticut Matthew Di Carlo Albert Shanker Institute William J. Mathis University of Colorado, Boulder John Weathers University of Colorado, Colorado Springs Sherman Dorn Arizona State University Michele S. Moses University of Colorado, Boulder Kevin Welner University of Colorado, Boulder Michael J. Dumas University of California, Berkeley Julianne Moss Deakin University, Australia Terrence G. Wiley Center for Applied Linguistics Kathy Escamilla University ofColorado, Boulder Sharon Nichols University of Texas, San Antonio John Willinsky Stanford University Yariv Feniger Ben-Gurion University of the Negev Eric Parsons University of Missouri-Columbia Jennifer R. Wolgemuth University of South Florida Melissa Lynn Freeman Adams State College Amanda U. Potterton University of Kentucky Kyo Yamashiro Claremont Graduate University Rachael Gabriel University of Connecticut Susan L. Robertson Bristol University Miri Yemini Tel Aviv University, Israel Políticas de Evaluación de Sistemas Educativos 39 arquivos analíticos de políticas educativas conselho editorial Editor Consultor: Gustavo E. Fischman (Arizona State University) Editoras Associadas: Kaizo Iwakami Beltrao, (Brazilian School of Public and Private Management - EBAPE/FGV, Brazil), Geovana Mendonça Lunardi Mendes (Universidade do Estado de Santa Catarina), Gilberto José Miranda, (Universidade Federal de Uberlândia, Brazil), Marcia Pletsch, Sandra Regina Sales (Universidade Federal Rural do Rio de Janeiro) Almerindo Afonso Universidade do Minho Portugal Alexandre Fernandez Vaz Universidade Federal de Santa Catarina, Brasil José Augusto Pacheco Universidade do Minho, Portugal Rosanna Maria Barros Sá Universidade do Algarve Portugal Regina Célia Linhares Hostins Universidade do Vale do Itajaí, Brasil Jane Paiva Universidade do Estado do Rio de Janeiro, Brasil Maria Helena Bonilla Universidade Federal da Bahia Brasil Alfredo Macedo Gomes Universidade Federal de Pernambuco Brasil Paulo Alberto Santos Vieira Universidade do Estado de Mato Grosso, Brasil Rosa Maria Bueno Fischer Universidade Federal do Rio Grande do Sul, Brasil Jefferson Mainardes Universidade Estadual de Ponta Grossa, Brasil Fabiany de Cássia Tavares Silva Universidade Federal do Mato Grosso do Sul, Brasil Alice Casimiro Lopes Universidade do Estado do Rio de Janeiro, Brasil Jader Janer Moreira Lopes Universidade Federal Fluminense e Universidade Federal de Juiz de Fora, Brasil António Teodoro Universidade Lusófona Portugal Suzana Feldens Schwertner Centro Universitário Univates Brasil Debora Nunes Universidade Federal do Rio Grande do Norte, Brasil Lílian do Valle Universidade do Estado do Rio de Janeiro, Brasil Flávia Miller Naethe Motta Universidade Federal Rural do Rio de Janeiro, Brasil Alda Junqueira Marin Pontifícia Universidade Católica de São Paulo, Brasil Alfredo Veiga-Neto Universidade Federal do Rio Grande do Sul, Brasil Dalila Andrade Oliveira Universidade Federal de Minas Gerais, Brasil