Diseño e instrumentación de la evaluación docente entre pares en México Página web: http://epaa.asu.edu/ojs/ Artículo recibido: 13-10-2020 Facebook: /EPAAA Revisiones recibidas: 3-11-2021 Twitter: @epaa_aape Aceptado: 9-11-2021 archivos analíticos de políticas educativas Revista académica evaluada por pares, independiente, de acceso abierto y multilingüe Arizona State University Volumen 30 Número 67 10 de mayo 2022 ISSN 1068-2341 Diseño e Instrumentación de la Evaluación Docente entre Pares en México Ana Razo Centro de Investigación y Docencia Económicas (CIDE)– Consejo Nacional de Ciencia y Tecnología (Conacyt) México Jimena Hernández-Fernández Centro de Investigación y Docencia Económicas (CIDE)– Consejo Nacional de Ciencia y Tecnología (Conacyt) México & Ivania de la Cruz Orozco México Citación: Razo, A., Hernández-Fernández, J., & de la Cruz, I. (2022). Diseño e instrumentación de la evaluación docente entre pares en México. Archivos Analíticos de Políticas Educativas, 30(67). https://doi.org/10.14507/epaa.30.6224 Resumen: Este artículo analiza las diferencias entre el diseño y la instrumentación de la política de evaluación entre pares (EeP) en México (2014-2017), creada con la Reforma Educativa de 2013. Se contrasta el proceso de diseño de la EeP, previsto en los lineamientos de la política, con su implementación en la práctica de evaluación docente. Esta comparación se realiza a partir de datos cualitativos obtenidos mediante análisis de gabinete, entrevistas y grupos de enfoque con actores clave que intervinieron en la política. Los hallazgos revelan la desvinculación entre el diseño e implementación de una política educativa de alcance nacional en donde destacan: poca claridad en las atribuciones de instancias involucradas, problemas de coordinación entre http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.30.6224 Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 2 instituciones y niveles de gobierno, así como ausencia de algunos actores clave en la instrumentación. Palabras clave: evaluación entre pares; evaluación docente; instrumentación; diseño; México Design and implementation of teachers’ peer evaluation in Mexico Abstract: This article analyzes the design and implementation of peer evaluation (PE) in Mexico (2014-2017), a policy that was part of the Educational Reform of 2013. We compare the design of the PE as planned in the normative guidelines, to its implementation. Data was collected through qualitative techniques that comprised desk study, as well as interviews and focus groups with key participants of the PE process. Findings reveal a dissociation between the design and the implementation of an educational policy of national scope. The findings highlight the lack of clarity regarding the attributions of the stakeholders involved, coordination problems between institutions and between levels of government, as well as the absence of some key actors in the implementation. Key words: peer evaluation; teacher evaluation; implementation; design; Mexico Desenho e implementação da avaliação pelos pares de professores no México Resumo: Este artigo analisa as diferenças entre o desenho e a implementação da política de avaliação pelos pares (ApP) no México (2014-2017), criada com a Reforma Educativa de 2013. O processo de desenho da ApP, previsto nas diretrizes políticas, é comparado com a sua implementação na prática de avaliação de professores. Esta comparação é feita a partir de dados qualitativos obtidos por meio de estudos documentais, entrevistas e grupos de foco com atores- chave que intervieram na política. As conclusões revelam a dissociação entre o desenho e a implementação de uma política educacional de âmbito nacional, onde se destacam: pouca clareza nas atribuições das instâncias envolvidas, problemas de coordenação entre instituições e níveis de governo, bem como a ausência de alguns atores-chave na implementação. Palavras-chave: avaliação pelos pares; avaliação de professores; implementação; desenho; México Diseño e Instrumentación de la Evaluación Docente entre Pares en México La evaluación docente es una práctica común y relevante en los sistemas educativos. En ese sentido, la participación de docentes pares en los procesos evaluativos se identifica como una manera innovadora y productiva de hacer partícipes a los docentes de su evaluación (Ortega, 2015; Ravela, 2009). Así, la evaluación entre pares (EeP) se asocia con mayores niveles de confianza y transparencia en el proceso, ya que implica que los docentes son calificados por personas que conocen de primera mano sus experiencias, fortalezas y desafíos en aulas y escuelas. Otros beneficios de la EeP incluyen una mayor probabilidad de generar retroalimentación pertinente a los docentes evaluados, así como con el aprendizaje reflexivo de los docentes evaluadores. Es posible identificar estudios que abordan la instrumentación de la EeP en algunos países latinoamericanos: Chile (Bonifaz, 2011; OCDE, 2009), Ecuador (Schneider et al., 2019), y Cuba (Gasperini, 2000); así como en Estados Unidos (U.S. Department of Education, 2016). Estos estudios sentaron las bases para conocer las características y requerimientos para que una política de EeP pueda generar los beneficios con los que se le asocia. A pesar de la relevancia de la EeP para la valoración docente, existen pocos estudios empíricos sobre su diseño e instrumentación (Smith, 2019), así como sobre los factores que inciden en el resultado de su operación. Particularmente, se carece de estudios que consideren los retos de Diseño e instrumentación de la evaluación docente entre pares en México 3 coordinación entre lo planeado y lo ejecutado, así como los múltiples actores que participan en la operación de la EeP, o bien que analicen las formas en que dichos actores hacen frente a los desafíos de la política educativa en cuestión. Este estudio es una contribución a esas áreas poco exploradas. A partir de información cualitativa obtenida mediante análisis de gabinete, así como entrevistas y grupos de enfoque con actores clave, analizamos la coherencia entre el diseño de la EeP en México y la puesta en marcha de la misma, identificando las formas en que los actores hacen frente a la operación. Con ello, se exploran las principales disonancias entre diseño e instrumentación y se identifican áreas de oportunidad que, de atenderse, podrían generar las condiciones para que los docentes y sus evaluadores pares accedan a los beneficios asociados con la EeP. Los resultados de esta investigación identifican los desafíos en la implementación de una política de EeP a gran escala, describiendo la diversidad de niveles involucrados (nacional, estatales, escolares) y factores (normativos, políticos, financieros). Igualmente se examina la forma en que la desvinculación entre lo planeado y lo ejecutado en la política de EeP en México genera problemas para la adecuada operación, dificultando el alcance de sus objetivos. Los resultados servirán como referencia útil para países con sistemas educativos donde la EeP esté en uso o planee usarse, ya que, aunque se centra en el caso mexicano, los hallazgos constituyen un insumo para orientar un mejor diseño, o en su defecto el rediseño de una política de EeP. Es importante hacer dos aclaraciones sobre los alcances de este estudio. En primer lugar, este análisis no tiene por objetivo emitir un juicio de valor sobre la evaluación del desempeño docente en México, sobre sus efectos en la actividad de enseñanza o bien, en la reconfiguración de los poderes del sector magisterial. Si bien reconocemos la relevancia de muchos de los aspectos derivados de la evaluación del desempeño docente, este texto se centra en analizar los procesos de política pública buscando que las lecciones aprendidas puedan orientar las intervenciones futuras respecto a la evaluación docente. En segundo lugar, este estudio no pretende ser una evaluación de diseño ni de procesos, aunque sí considera la literatura relevante en esa materia para analizar a la EeP como política pública. El texto se estructura en cinco apartados: el primero presenta la revisión de literatura de la EeP desde la perspectiva de los desafíos en diseño e instrumentación. En el segundo se describe la evaluación docente entre pares en México durante el periodo 2014-2017. El tercer apartado refiere la estrategia metodológica utilizada para este análisis, y el cuarto contiene los resultados de contrastar el diseño con la instrumentación de la EeP. Por último, se presentan conclusiones con elementos para tomar en cuenta en procesos similares de evaluación docente. Los Desafíos en el Diseño e Instrumentación de la Evaluación Docente entre Pares En las últimas décadas varios países de América Latina han hecho esfuerzos por reformar sus sistemas educativos. Uno de los elementos centrales en estas reformas ha sido la modificación de las condiciones para el ingreso, promoción y permanencia del personal docente a partir de su evaluación. Esto con el convencimiento de que el desempeño de los docentes es un factor clave en la mejora de la calidad de la educación que se imparte, razón para evaluarlo (Assaél & Pavez, 2008; CREFAL, 2017; Murillo & Román, 2010; Ortega, 2015; Ramírez, 2013; Schulmeyer, 2002; Vaillant, 2008). A estos esfuerzos evaluativos se ha sumado la idea de formas más democráticas y participativas de valoración de la actividad docente, en donde los actores educativos participen en su propia evaluación, pues la ausencia de su intervención deriva en una importante limitación Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 4 metodológica y de legitimación (Tiana, 2008). Así, una manera innovadora y productiva de involucrar a los docentes en su evaluación es por medio de la EeP (Ortega, 2015). Por ello, varios países de Latinoamérica llevan a cabo evaluaciones del desempeño docente en las que participan docentes en una o varias fases del proceso; éste es el caso de países como Chile (Bonifaz, 2011; Ministerio de Educación de Chile, 2019; OCDE, 2009); Ecuador (B. Schneider et al., 2019); Cuba (Gasperini, 2000); Colombia (Ministerio de Educación de Colombia, 2013) y México (INEE, 2017). La EeP refiere un proceso en el que participan personas que tienen el mismo grado de conocimiento o desempeñan las mismas funciones, para valorar y considerar el nivel o calidad de un producto o el desempeño del evaluado (Topping, 2009). La EeP se fundamenta en el principio de igualdad de estatus, interpretado como mismo perfil y funciones (Adachi et al., 2018; Ashenafi, 2017; Escudero, 2018). De tal manera que igualdad de status puede ser interpretado como mismos años de escolaridad (para la evaluación que se realiza entre estudiantes) o mismo perfil y funciones (formación y tipo de cargo para el caso de docentes; Adachi et al., 2018; Gielen et al., 2011; Topping, 2009). En ese sentido se espera que la EeP funcione de manera adecuada si los evaluadores pueden valorar a sus pares docentes a partir de su propia experiencia, función y conocimiento del contexto, de modo que estén en posibilidad de dar una retroalimentación que resulte pertinente (Marquina, 2008). La EeP ofrece varias ventajas para el desarrollo de la profesión docente. Por un lado, brinda una oportunidad para orientar y fortalecer el desarrollo profesional, porque los evaluadores pueden emitir juicios de valor pertinentes y facilitar una retroalimentación adecuada (Eather et al., 2019; Marquina, 2008). Por otro lado, la participación de docentes en la evaluación de sus colegas puede constituir un mecanismo que dote de confianza, credibilidad y legitimidad a los procesos evaluativos (Ahmad, 2020; Gielen et al., 2011; Ortega, 2015) y contribuye a identificar necesidades y fortalezas en la práctica docente (Bell & Thomson, 2018; Contreras, 2018; Whipp & Pengelley, 2017). Sin embargo, la instrumentación de la EeP también presenta desafíos. Por ejemplo, al ser pares los evaluadores se trata de docentes con una carga y compromisos previos con las comunidades escolares lo cual puede dificultar su participación en los procesos evaluativos. La carencia de un proceso de análisis de la disponibilidad –tiempo y carga de trabajo– de los evaluadores puede generar no solo obstáculos a la instrumentación sino afectar la calidad de los procesos evaluativos (Copland, 2001; Grubb et al., 2003). Otro reto que destaca la literatura es la apropiada capacitación para evaluar a sus pares, si se carece de ella la legitimidad asociada a la EeP se diluye (Autores, 2020; Moreno, 2011; Ortega, 2015; Ramírez, 2013). Por otro lado, se encuentra el diseño de procesos y reglamentación claros para la instrumentación de la EeP; ya que si se carece de procesos justos de selección de evaluadores no se contará con una justificación sólida basada en el conocimiento y experiencia (Hernández Fernández et al., 2020). Topping (2009), resalta algunos aspectos que son base para una correcta instrumentación de la evaluación de pares (Topping, 2009): a) que el propósito y las expectativas sean claras para todas las partes interesadas; b) se involucre a los participantes (evaluadores pares y evaluados) en el desarrollo y clarificación de los criterios de evaluación; c) se garantice un correcto emparejamiento de iguales habilidades entre evaluadores y evaluados; d) se proporcione formación, ejemplos y práctica en la formación de evaluadores; e) se proporcionen directrices, listas de verificación u otro material para que los evaluadores pares utilicen en el proceso de evaluación; f) se especifiquen las actividades a realizar por el evaluador, así como el calendario de su participación; y por último e) se proporcione monitoreo y apoyo para identificar los problemas que experimenten los evaluadores de manera que puedan resolverse rápidamente durante el proceso de evaluación. Este conjunto de recomendaciones involucra a múltiples actores y distintos procesos que requieren de altos niveles de coordinación. La complejidad de la EeP se hace aún mayor cuando se implementa como política pública a gran escala, situación que no es analizada por Topping (Gielen et al., 2011). Sin embargo, los aspectos que éste Diseño e instrumentación de la evaluación docente entre pares en México 5 plantea son útiles en la identificación de puntos nodales en la implementación de evaluación de pares como política pública los cuales fundamentan la revisión realizada en el caso mexicano. Complementando lo anterior, desde el enfoque de política pública, la literatura señala algunos de los desafíos en el diseño y la instrumentación que son relevantes para esta investigación: 1) la coherencia entre objetivos, metas y procesos pensados para lograr los objetivos (Chun & Rainey, 2005; May, 2018); 2) la capacidad de los intermediarios, del “burócrata a nivel de calle” (Lipsky, 1980); 3) la superposición del ejercicio de la autoridad y las responsabilidades de instrumentación, dada la multiplicidad de actores (Moynihan et al., 2011); 4) el contexto de la instrumentación (Hill & Hupe, 2009), y 5) la consideración del contexto político (A. Schneider & Ingram, 1997). Majone y Wildavsky (1979) se refirieron a la instrumentación como evolución, esto es, un proceso de continuas iteraciones para acercarse al cumplimiento de los objetivos de la política pública. En palabras de Majone y Wildavsky, “vale la pena estudiar la instrumentación precisamente porque es una lucha por hacer realidad las ideas” (1979, p. 180). Por lo anterior entre los aspectos de la instrumentación de la EeP que revisamos en el presente artículo resalta la claridad de los objetivos y expectativas así como su comprensión por todas las partes interesadas; sobre todo que en el caso mexicano ello implica procesos de coordinación en varios niveles de gobierno y con gran diversidad de actores (Gielen et al., 2011). La agrupación de los desafíos, presentada en párrafos anteriores, es retomada en la sección de conclusiones, para presentar una síntesis crítica de los hallazgos y un conjunto de recomendaciones que buscan contribuir a experiencias similares de evaluación docente. La Evaluación Docente entre Pares en México La política de EeP en México que se analiza en este texto surgió como resultado la Reforma Educativa de 2013, que estableció la obligatoriedad de la evaluación de desempeño docente para los profesores en servicio. Esta reforma reguló y estructuró el proceso de ingreso, permanencia y promoción de los docentes, así como del personal con funciones de dirección y supervisión, tanto en educación básica como en media superior. La evaluación de desempeño docente se conformó en tres etapas (CNSPD, 2017): i) llenado de un cuestionario estandarizado donde la autoridad inmediata valoraba las responsabilidades del evaluado, ii) elaboración, por parte del evaluado, del Proyecto de enseñanza, que comprende un diagnóstico de grupo, una planeación de actividad con grupo y una reflexión sobre su práctica docente, y iii) examen estandarizado sobre casos y reactivos de situaciones educativas. Fue en la segunda etapa de la evaluación de desempeño que se incorporó el factor humano como una pieza fundamental (INEE, 2014). Aquí, los evaluadores pares debían emitir un juicio de valor sobre el Proyecto de Enseñanza (conocido también como el “portafolio” de evidencias). El Proyecto de enseñanza fue diseñado para que los evaluadores pares calificaran una muestra de la práctica docente. El Proyecto pedía a los docentes evaluados entregar evidencia de tres momentos: 1) la elaboración de un diagnóstico y una planeación didáctica, 2) la demostración de su puesta en marcha en el aula, y 3) una reflexión sobre su práctica docente. El propósito era identificar los conocimientos y habilidades que los docentes emplean en la toma de decisiones durante la planeación, intervención y reflexión sobre su propia práctica. Se trató de un instrumento de evaluación de respuesta construida, autoadministrable y gestionado en línea, el cual retomaba las evidencias de las prácticas del docente, considerando la especificidad de la asignatura que imparte y tomando en cuenta los aprendizajes esperados señalados en el programa de estudios. En cuanto a la selección de los evaluadores pares, de acuerdo con la Ley General del Servicio Profesional Docente, los evaluadores pares debían ser servidores públicos que cumplieran con el perfil correspondiente, se hubieran capacitado y obtuvieran la certificación correspondiente Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 6 (DOF, 2013). La primera convocatoria de certificación de evaluadores se llevó a cabo en 2014 y, con ello, a los evaluadores pares se les reconoció en el sistema educativo como Evaluadores Certificados (EC). Según documentos oficiales, el proceso de certificación de evaluadores se diseñó para operar en cuatro fases. En la primera fase, de selección de aspirantes, el Instituto Nacional para la Evaluación de la Educación (INEE) emitía las convocatorias pertinentes para la participación en el proceso1. Los aspirantes realizaban un registro en la plataforma Sistema de Gestión Integral de Evaluadores en donde ingresaban documentos probatorios de que cumplían con los requisitos de participación. La autoridad educativa local (AEL) de cada entidad, además de difundir las convocatorias, revisaba y validaba los expedientes de los candidatos para que pudieran ser postulados en el Sistema de Gestión Integral de Evaluadores y, en última instancia, aprobados para participar en el proceso. En la segunda fase, de capacitación, los aspirantes (postulados y aprobados) participaban de manera virtual en el Programa de Formación Inicial de Evaluadores de Desempeño que se componía de cuatro módulos de capacitación. La evaluación del programa de formación, tercera fase, se llevaba a cabo de manera virtual mediante actividades prácticas, participaciones en foros y ensayo; al final, se recibía, en su caso, un dictamen de acreditado. En caso de acreditar el programa, la institución formadora2 otorgaba una constancia al participante y con ello éste podía realizar el examen para la certificación como evaluador. Cabe señalar que el contar con la certificación (ser EC) no garantizaba, u obligaba, la participación en los procesos de evaluación docente (cuarta fase) conocidas como jornadas de calificación. Para participar como evaluador, los EC necesitaban ser convocados específicamente para dicho fin por la Coordinación Nacional del Servicio Profesional Docente (CNSPD). Es de suma importancia resaltar que en 2019, como resultado de un cambio de gobierno, se abrogó la Reforma Educativa de 2013. Con ello, se hicieron modificaciones al artículo tercero constitucional en el cual se menciona explícitamente que: “Las maestras y los maestros tendrán derecho a acceder a un sistema integral de formación, de capacitación y de actualización retroalimentado por evaluaciones diagnósticas para cumplir con los objetivos y propósitos del Sistema Educativo Nacional”. Con ello, la evaluación del desempeño docente se encuentra en proceso de importante cambio. Al momento la “Ley General del Sistema para la Carrera de las Maestras y los Maestros” subraya que se cancela todo tipo de evaluación estandarizada y que en su lugar se dará prioridad a la capacitación, formación y actualización; también se menciona que la ley tendrá un nuevo esquema de evaluaciones diagnósticas para construir un esquema de admisión, promoción y reconocimiento. Sin embargo, aún se desconoce el proceso que habrá de 1 En el periodo 2014 - 2018 se emitieron las siguientes convocatorias para la certificación de evaluadores: Convocatoria 2014-2017 para la Certificación de Evaluadores en Educación Básica y Media Superior; Convocatoria 2015 para la certificación de evaluadores del desempeño del personal con funciones de dirección y supervisión en educación básica y media superior; Convocatoria extraordinaria 2016 para la certificación de evaluadores del desempeño en educación básica y media superior; Segunda y tercera Convocatorias 2017 para la Certificación de Evaluadores del Desempeño en Educación Básica y Media Superior; y Convocatoria para la recertificación de evaluadores del desempeño en Educación Básica y Media Superior 2017. 2 En 2014 el diseño instruccional, impartición y desarrollo estuvo a cargo de Universidad Nacional Autónoma de México (UNAM). En 2015 el diseño instruccional estuvo a cargo del INEE con apoyo del Instituto Politécnico Nacional (IPN); mientras que la impartición y desarrollo la hizo el Instituto Latinoamericano de Comunicación Educativa, ILCE. En el 2016, el diseño instruccional estuvo a cargo del INEE y la impartición y desarrollo a cargo del ILCE. En 2017, el diseño instruccional estuvo a cargo del Instituto Tecnológico y de Estudios Superiores de Monterrey (ITESM) y la impartición y desarrollo a cargo del ILCE. Diseño e instrumentación de la evaluación docente entre pares en México 7 llevarse a cabo para la elaboración de dichas evaluaciones diagnósticas. No obstante, dado que el objetivo es “valorar su desempeño frente al aula y gestión escolar”, la EeP podría constituir -si así lo decide la autoridad educativa- uno de los enfoques para evaluar el desempeño docente en el aula. Metodología El artículo analiza la coherencia entre el diseño (descrito en la normatividad) y la instrumentación de la Evaluación entre Pares en México. Para ello se indaga en el desarrollo de los procesos de capacitación de los evaluadores pares y en su labor evaluadora para valorar la medida en que se acercan y son coherentes con lo establecido en la normatividad. En este estudio se utilizaron diversas estrategias para la obtención de datos. En un primer momento, para analizar el diseño de la normatividad que orientó la instrumentación de la EeP, se utilizaron dos estrategias. Por un lado, análisis de gabinete de la normatividad aplicable, a partir de la cual se desarrollaron mapas de flujo de procesos de las actividades y actores previstos en el diseño de la EeP. Por otro lado, entrevistas a profundidad con responsables de las dos instancias federales involucradas: CNSPD e INEE; así como con la instancia formadora y con la institución que opera las jornadas de evaluación. Para capturar la opinión y experiencia de operadores estatales, responsables de la instrumentación y de la vinculación entre instancias federales y locales, se hicieron dos grupos de enfoque con la totalidad de la población (32 responsables, 16 en cada grupo de enfoque). En un segundo momento, se diseñó una encuesta para recabar información de la población total de EC3 en el país. El total de evaluadores certificados al momento de este estudio era de 4,271, la encuesta tuvo una tasa de respuesta de 78%, lo cual permitió obtener datos acerca del perfil de los evaluadores (Autores, 2020). A partir de los resultados de la encuesta se identificaron cuatro entidades (de las 32 que integran el país) con casos contrastantes de instrumentación: Veracruz, Oaxaca, Nuevo León y Morelos4. Dichas entidades tienen atributos de operación distintos, por ejemplo: número de evaluadores que se certificados y de evaluadores convocados a jornadas de calificación, así como casos contrastantes en la experiencia de los EC durante los procesos de postulación, certificación y evaluación. Por esta razón la exploración en estas cuatro entidades se profundizó para conocer las opiniones y percepciones de instrumentación desde la visión de los propios evaluadores. Utilizamos un mecanismo de triangulación de datos (Yin, 2017), en el que se revisan los procesos de la EeP establecidos en el marco normativo y se les contrasta con la descripción y entendimiento de los distintos participantes involucrados; ello permite comprender a profundidad los diferentes significados y contextos del fenómeno (Patton, 2015) al utilizar evidencia para reconocer las diferencias, la consistencia de los procesos e identificar las posibles debilidades técnicas. Es importante mencionar que los resultados presentados en este artículo son parte de una investigación más amplia sobre la opinión y experiencia de los EC, el cual fue solicitado y financiado por el INEE (Autores, 2020). 3 La encuesta con los EC se utilizó como estrategia para identificar la diversidad de experiencias de implementación y, con eso, seleccionar estados participantes en la exploración cualitativa, los resultados no se incorporan en este artículo por considerarse en una dimensión distinta al objetivo de este artículo. 4Veracruz fue seleccionado por tener mayor cantidad de certificaciones y tener representación de todas las funciones de evaluadores. Oaxaca porque registró más reportes de problemas técnicos durante los procesos. Nuevo León por tener más EC altamente satisfechos con los procesos. Por último, Morelos resaltó porque el 96% de sus EC habían sido llamados a evaluar; pero sus volúmenes de EC eran muy bajos. Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 8 Población y Muestra Para la investigación presentada en este artículo realizamos análisis de gabinete de la normatividad aplicable a partir de la cual se desarrollaron mapas de flujo de procesos de las actividades y actores previstos en el diseño de la EeP. También se llevaron a cabo 9 entrevistas a profundidad con la CNSPD, el INEE, las instancias formadoras y la institución que opera las jornadas de evaluación. De igual modo se incorpora la información recabada mediante grupos de enfoque con los 32 operadores estatales, así como con 30 evaluadores certificados, estos últimos realizados en cada una de las cuatro entidades seleccionadas. La selección de los EC para cada grupo de enfoque en los cuatro estados se realizó utilizando un muestreo aleatorio estratificado de los EC por entidad que combinaba diversidad de niveles educativos (educación básica y media superior), contextos (urbano y rural), género (hombre o mujer), funciones (docentes, directivos, figuras de acompañamiento), antigüedad en la función (activo o jubilados), así como experiencia en el ejercicio evaluativo (han participado en evaluaciones o no). Para lograr una representación igualitaria de hombres y mujeres y tener una discusión que diera cuenta de si existían puntos de vistas distintos por género se seleccionaron 8 hombres y 8 mujeres a los cuales se les invitó a participar en cada a cada grupo de discusión. Sin embargo, la asistencia fue menor a la esperada en Oaxaca y Veracruz debido a que la realización de grupos de enfoque se empalmó con jornadas de calificación de los evaluadores en Ciudad de México. La participación de EC por entidad fue como sigue: • Morelos (13 EC participantes: 5 mujeres y 8 hombres) • Oaxaca (3 EC participantes: 2 mujer y 1 hombres ) • Nuevo León (9 EC participantes: 4 mujeres y 5 hombres) • Veracruz (5 EC participantes 3 mujeres y 2 hombres) La diversidad de actores permitió captar opiniones diversas y representativas sobre la instrumentación de la EeP considerando contextos y circunstancias (Neuman, 2016). Instrumentos Los testimonios se recabaron mediante entrevistas y grupos de enfoque de acuerdo con las características de cada tipo de participante. Se optó por entrevista con los representantes/encargados de las instancias de la operación de la EeP: autoridades educativas locales, autoridades educativas federales, instancias formadoras y administradores de jornadas de evaluación. Las entrevistas nos permiten construir conocimiento durante la interacción con el entrevistado, entender sus experiencias y percepciones sobre su participación en la operación de la EeP (King et al., 2018). Se optó por grupos de enfoque con enlaces estatales entre INEE, autoridades educativas locales y con EC. Los grupos de enfoque ofrecen un mecanismo para que un conjunto de personas tenga la oportunidad de reflexionar sobre sus creencias, experiencias y prácticas sobre un tema en común (Kuh, 2016). El método para la identificación de participantes en el estudio garantiza que todos los actores a nivel federal y estatal fueron considerados para selección, ya sea mediante entrevista o en un grupo de enfoque. Aunque la recolección de datos cualitativos no busca generalizar las opiniones, las técnicas utilizadas sí permiten reflejar las diversas experiencias y brindan información profunda acerca de la experiencia de los EC en estados con características de instrumentación relevantes (Krueger & Casey, 2014). Ello permite comprender en profundidad el proceso entre el diseño e instrumentación de esta política y, con eso, contribuir en el estudio de otros sistemas de evaluación docente entre pares. Diseño e instrumentación de la evaluación docente entre pares en México 9 Tabla 1 Técnicas de Recolección de Información y Participantes Técnica de Recolección Número Participantes Entrevistas 5 2 1 1 Autoridades educativas locales Autoridades educativas federales Instancias formadoras Administradores de jornadas de evaluación Grupos de enfoque 2 4 Enlaces Estatales entre INEE y autoridades educativas locales Evaluadores Certificados Fuente: elaboración propia. El diseño de los instrumentos se realizó con base en características particulares de los participantes en la operación el proceso de EeP. Los instrumentos se estructuraron en secciones alineadas a las 4 fases del proceso de EeP: 1) selección y postulación de aspirantes; 2) proceso de capacitación de aspirantes; 3) examen para la certificación de evaluadores; y 4) ejercicio evaluativo. El resumen de las técnicas de recolección se presenta en la Tabla 1. Los instrumentos contenían entre ocho y diez preguntas buscando recabar la experiencia e involucramiento de los participantes en la EeP identificando, en cada fase del proceso de certificación, las áreas de oportunidad, fortalezas, responsables y mecanismos de apoyo. Todo ello para un proceso de triangulación de información que nos permitiría construir el proceso de instrumentación experimentado desde la perspectiva de las personas participantes. El diseño de cada instrumento se acompañó por un mecanismo de validación con el equipo responsable INEE. Procedimiento de Recogida y Análisis de Datos Previo al levantamiento de datos, se distribuyeron, entre todos los participantes, formatos de consentimiento informado, los cuales describían tanto el proyecto como la actividad para recabar datos, así como el uso y cuidado que se daría a éstos. Todos los participantes dieron su consentimiento, por lo que su participación fue voluntaria y sin remuneración. Se realizaron grabaciones en audio y video de todas las sesiones5; además, se trabajó en pares para asegurar que, 5 La videograbación de los grupos de enfoque fue relevante en tres aspectos. Primero, aseguró que, durante el proceso de análisis fuera posible identificar, con mayor Certeza, a las y los participantes para atribuirles la autoría de los comentarios (el audio no hace fácil reconocer la identidad de quien participa). Segundo, permitió tomar en cuenta el lenguaje no verbal de los participantes para entender el sentido y la intención de los mensajes. Y, por último, como un mecanismo para garantizar contar con la información. Es decir, en caso de fallas en el audio. Para minimizar las derivaciones asociadas al Efecto Hawthorne de posible alteración de conducta, provocada por la grabación, consideramos varios elementos: el instrumento de grabación fue discreto y poco invasivo (una tableta electrónica), buscando no alterar significativamente el contexto y ambiente del grupo; en todas las filmaciones la tableta se colocó en alguna de las esquinas del salón con la intención de minimizar las consecuencias de una presencia inusual; adicionalmente no había una persona manipulando la tableta, para no atraer atención al instrumento. El proceso de triangulación nos dejó ver que las experiencias grabadas y recuperadas en los grupos de enfoque describían procesos y vivencias coincidentes entre los diferentes grupos. Además, esos procesos también fueron similares a los descritos por otras figuras participantes en donde se utilizaron entrevistas (sin videograbación). Es decir, la descripción de los procesos y de las experiencias obtenidas mediante las distintas estrategias convergieron en los puntos nodales. Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 10 mientras una investigadora conducía la entrevista o moderaba el grupo de enfoque, hubiera quien tomara notas detalladas. La toma de notas fue pensada para tener una valoración inmediata de la información y del desarrollo de los grupos; así como para retroalimentar y ajustar, rápidamente, el guion de los grupos de enfoque. Es decir, la toma de notas ofrecía insumos oportunos para modificar algo en el guion de los grupos, o bien, en la conducción de estos. En el proceso de análisis, la toma de notas facilitó la identificación y vinculación entre participante y comentarios. Igualmente ayudó a resaltar, rápidamente, temas y puntos de interés muy relevantes para el análisis. Es decir, la toma de notas permitió identificar comentarios y participaciones relevantes de actores clave. Las entrevistas tuvieron una duración promedio de hora y doce minutos. Para los grupos de enfoque la duración promedio fue de una hora y cuarenta y dos minutos. Todos los levantamientos de información se realizaron entre noviembre de 2017 y febrero de 2018. Si bien no se hicieron transcripciones de los audios ni videos, se llevó a cabo un análisis riguroso, siguiendo los lineamientos propuestos por Eaton, Stritzke, y Ohan (2019). Para esta decisión se consideró que el número acotado de audios producto de entrevistas y grupos de enfoque, así como la toma de notas que ocurría al momento del desarrollo de las estrategias, nos permitiría profundizar en un análisis de audio mucho más profundo y rápido. De ese modo, siguiendo las categorías establecidas, nos involucramos en un análisis basado en la escucha recurrente de los audios y la revisión de la toma de notas. Las investigadoras llevaron a cabo un análisis preliminar de cada entrevista y grupo de enfoque posterior a levantamiento de datos. Una vez concluida la etapa de recogida de información, se organizaron los datos: se hicieron respaldos de todos los datos; además, se colocaron notas, audios y videos en un repositorio de acceso común para las investigadoras, indicando tipo de técnica, así como lugar donde se recabó la información y actor que la proporcionó (Creswell & Poth, 2018). Posteriormente, se inició la etapa de análisis a profundidad. La primera etapa de este análisis detallado consistió en volver a escuchar audios de las entrevistas y ver las videograbaciones de los grupos de enfoque. Asimismo, se dio lectura a todas las notas que se realizaron durante el levantamiento de información. Resultado de esta revisión integral de la información y de una relectura de las convocatorias, se generó una lista de códigos o ítems (Creswell & Poth, 2018), que a su vez se agruparon en categorías, las cuales se presentan en la Tabla 2. Tabla 2 Categorías de Análisis Fases Categorías de Análisis 1. Selección y postulación de aspirantes Atribución de responsabilidades Comunicación Criterios de selección Instancias responsables Reglas formales (convocatorias) Reglas informales Requisitos para participar Transparencia Tiempos Variaciones locales 2. Capacitación de aspirantes 3. Examen para la certificación 4. Ejercicio evaluativo Fuente: elaboración propia. Diseño e instrumentación de la evaluación docente entre pares en México 11 Las categorías de análisis son relevantes por enfocarse en elementos concretos para mejorar la instrumentación del proceso. Es decir, estas categorizaciones permiten saber en dónde se presentan las disonancias entre diseño e instrumentación y focalizar, con más precisión, las acciones para atenderlas. Por ejemplo, saber que es un problema de comunicación o de atribución de responsabilidades entre determinados actores involucrados, ofrece una noción clara de qué es lo que está obstaculizando el cumplimiento de los objetivos en la EeP y, por consecuencia, una idea más clara de lo que se requiere para fortalecer la coherencia de los procesos. En la segunda etapa de análisis las investigadoras utilizaron la lista predeterminada de códigos para revisar las entrevistas, grupos de enfoque y notas (Linneberg & Korsgaard, 2019). Esta revisión permitió contrastar, por un lado, la forma en que se desarrollaron las actividades de cada etapa del proceso de EeP y, por otro lado, la planeación que se había previsto en las convocatorias. Al comparar el diseño y la instrumentación de la EeP, se identificó un alto grado de disonancia o falta de coherencia entre cómo se diseñaron las cuatro fases y cómo los actores claves describen su participación en cada proceso. En este artículo se presenta únicamente la mayor disonancia entre diseño e instrumentación para cada fase. La selección del mayor punto de incoherencia se basa en los aspectos que la literatura menciona deben ocurrir ya sea para la correcta implementación de la evaluación de pares o para la correcta instrumentación de una política pública (Adachi et al., 2018; Hill & Hupe, 2009; Schneider et al., 2019). La tercera etapa del análisis consistió en una revisión doble de los hallazgos. Por un lado, se buscó entender las etapas del proceso de EeP desde la perspectiva de todos los actores involucrados. Si bien la perspectiva del análisis radicaba en el evaluador par (Durand, 2014), siempre se buscó entender e incorporar al análisis las opiniones de los otros actores, tanto a nivel nacional como a nivel local. Por otro lado, se realizó un proceso de validación de hallazgos preliminares y finales. Los hallazgos preliminares se presentaron en dos rondas de validación con el equipo del INEE, mientras que los resultados finales se presentaron ante todos los enlaces estatales del país. En estas presentaciones se obtuvo el visto bueno de los participantes como parte de un proceso técnico de elaboración del reporte de hallazgos y, con ello, darles validez (Lub, 2015). Alcances y Limitaciones Si bien el análisis llevado a cabo estudia el diseño y la instrumentación de la EeP, éste no puede ser considerado como una evaluación de diseño o de procesos. Ello se debe a que la intención no es valorar en qué medida el diseño es adecuado para cumplir los objetivos o cómo los procesos favorecen la correcta operación de la EeP. Asimismo, tampoco se busca referir si la EeP produce los resultados esperados. No obstante, este estudio es fundamental para analizar la instrumentación desde los actores clave, tanto de nivel federal como local. Por ello, el estudio ofrece un primer análisis profundo de la EeP en México, aspecto que puede retroalimentar el diseño de una futura política EeP tanto en el marco de la reforma educativa de 2019 en México como en contextos similares. Resultados Este apartado contiene los resultados del análisis comparativo entre el diseño y la instrumentación de la política de evaluación de pares en México, considerando las 4 fases mencionadas en el apartado metodológico y resaltando la mayor disonancia encontrada. Las figuras 1, 2, 3 y 4 muestran el diseño de las respectivas fases. La tabla 3 resume las disonancias para todas las fases. Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 12 Tabla 3 Disonancia Principal entre Diseño e Instrumentación en Cada Fase de la EeP Fase Normativa (Diseño) Instrumentación Implicaciones de la disonancia Origen de la disonancia Fase 1. Selección y postulación de aspirantes AEL, OD y CNSPD participan en selección de candidatos a EC. Con base en requisitos de convocatoria, CNSP valida y postula a candidatos que pasan a etapa de capacitación. Las AEL y OD se basan en criterios desiguales para postular candidatos. Hay poca claridad respecto a quién y cómo se toma la decisión final de postulación. Alta variación en el número de postulados por estado. Percepción de poca transparencia en la emisión del listado final de postulados y de quién notifica el pase a fase de capacitación. Diseño e instrumentación Fase 2. Capacitación de aspirantes INEE establece criterios para el diseño, desarrollo, seguimiento y actualización de la capacitación, para posteriormente dictaminar el diseño del programa. CNSPD diseña el programa de capacitación o bien, selecciona el programa y la institución capacitadora. CNSPD informa a aspirantes sobre capacitación. INEE diseña programas de capacitación (no solo establece criterios). ILCE contacta e imparte capacitación a aspirantes de educación básica; INEE y colaboradores externos imparten capacitación a los de educación media superior. ILCE asume responsabilidad del proceso de capacitación: no solo queda como responsable de capacitar a aspirantes, sino como su interlocutor principal. ILCE desconoce si el examen de certificación está alineado con temas de su capacitación. Falta de coordinación y comunicación entre ILCE y otros actores. Diseño e instrumentación Diseño e instrumentación de la evaluación docente entre pares en México 13 Fuente: elaboración propia. AEL: Autoridad Educativa Local. CENEVAL: Centro Nacional de Evaluación para la Educación Superior. CNSPD: Coordinación Nacional del Servicio Profesional Docente. EC: Evaluadores Certificados. ILCE: Instituto Latinoamericano de Comunicación Educativa. INEE: Instituto Nacional Para la Evaluación de la Educación. OD: Órganos Desconcentrados. Fase Normativa (Diseño) Instrumentación Implicaciones de la disonancia Origen de la disonancia Fase 3. Examen para la certificación de evaluadores La CNSPD comunica al INEE los resultados de la evaluación del desempeño docente de los aspirantes a EC. El INEE determina qué aspirantes han cubierto todos los requisitos para certificarse, incluido el resultado de la evaluación del desempeño docente, y les notifica su nombramiento. Aspirantes a EC no reciben comunicación completa ni consistente sobre cómo la evaluación del desempeño docente es requisito para certificarse. La CNSPD y el INEE no están coordinados sobre resultados de evaluación del desempeño docente. Los EC refieren que la falta de información clara complica su proceso de certificación y les hace desistir de participar en la recertificación. Los aspirantes reciben tarde o no reciben su certificación como evaluadores pares. Instrumentación Fase 4. Ejercicio evaluativo INEE, CNSPD, AEL y OD participan en el diseño y operación de las jornadas de evaluación. INEE y CNSPD informan a AEL y OD quiénes fungirán como EC para que faciliten su salida de las escuelas sin afectar normalidad mínima. CENEVAL asume responsabilidad de todas las actividades de la jornada de evaluación. CENEVAL, sin ser autoridad directa sobre actores educativos, convoca a EC a jornadas de evaluación sin informar a AEL y OD. AEL y OD desconocen quiénes son los actores educativos convocados a asistir a jornadas de calificación, lo que altera la normalidad mínima de las escuelas. Solo CENEVAL tiene acceso a la información sobre los EC llamados a evaluar y sobre las razones por las que algunos EC nunca han sido convocados a las jornadas de evaluación. Diseño e instrumentación Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 14 Fase 1 Selección y Postulación de Aspirantes Con la etapa de Selección de los aspirantes inicia el proceso de certificación de evaluadores. En la Figura 1 se presenta el diagrama de flujo de procesos de la primera fase de la política de EeP: la selección y postulación de aspirantes. Figura 1 Diagrama de Flujo de la Fase 1: Selección y Postulación de los Aspirantes Diseño e instrumentación de la evaluación docente entre pares en México 15 En esta etapa, el análisis de coherencia entre diseño e instrumentación muestra que la mayor disonancia está en la actividad de “seleccionar a los aspirantes”. Así, dos elementos complican no solo la instrumentación, sino la experiencia misma y las posibilidades de los aspirantes para lograr la certificación. Por un lado, hay diversidad de criterios de selección entre entidades y entre cohortes de EC (ésta última por el ajuste de requisitos en las distintas convocatorias). Por otro lado, la falta de claridad sobre quién es la instancia responsable de esta selección. Como ejemplo de diversidad de criterios en la selección de aspirantes a EC, mientras que para algunas entidades la edad o las habilidades digitales podrían no ser un elemento que ponderar en la decisión, para otras entidades sí lo son. ….en la convocatoria que nos aparece nos solicitan que los maestros tengan su planta, que hayan participado en la evaluación de desempeño, principalmente.. que tengan ‘cierta experiencia’…y otros requisitos, hay algunos que no son tan importantes, por ejemplo, hay unos que nos preguntan si tienen experiencia en cuestiones de evaluación o en habilidades digitales y habilidades de comunicación, pero en la cuestión de lo de la evaluación de desempeño si tienen que presentar captura de pantalla o evidencia. (Enlace estatal) La etapa de selección fue también descrita por los participantes como altamente desafiante. Esto debido a dificultades para comunicarse con responsables de distintos niveles y modalidades educativas, diversos subsistemas en el caso de EMS y ámbitos -federal y estales, poca información sobre responsabilidades atribuibles a los enlaces estatales y, según refirieron, una carga de trabajo que dificulta la revisión exhaustiva de expedientes. Todos estos factores parecieran incidir en el número de maestros que son postulados para continuar a la etapa de capacitación. Sobre los procesos de postulación, validación y aceptación de aspirantes no es claro cuál es la instancia responsable de emitir el listado final y comunicar a los participantes elegidos. En tanto que algunas autoridades educativas locales refieren validar, pero no postular, otras refieren que postulan, pero desconocen si su decisión fue concretada. Fase 2 Capacitación de los Aspirantes Una vez que la CNSPD tiene y valida una lista con los nombres de candidatos a cursar la capacitación para convertirse en EC, empieza una nueva fase del proceso (Ver Figura 2). En el análisis se detecta que la principal disonancia, tanto de diseño como de instrumentación, radica en que la instancia formadora (ILCE) deja de ser proveedora para fungir como responsable de la fase de capacitación y como principal interlocutora con aspirantes a EC. Esto tiene su origen en que la CNSPD no diseña, coordina ni supervisa la capacitación, como lo establece la normativa. La tarea de diseñar los programas de capacitación ha sido desempeñada, en la instrumentación, por el INEE. Si bien la CNSPD contrata a la instancia capacitadora, cubre el costo de sus servicios y autoriza el uso de los contenidos desarrollados por el INEE, a partir de que la CNSPD envía al ILCE los listados de quienes tomarán el curso, la instancia capacitadora figura como la responsable de esta fase de la EeP. Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 16 Figura 2 Diagrama de Fujo de la Fase 2: Capacitación de los Aspirantes Diseño e instrumentación de la evaluación docente entre pares en México 17 Fase 3 Examen para la Certificación de Evaluadores El examen para certificarse como evaluador es puente entre el proceso de capacitación y el ejercicio de la función evaluadora. La figura 3 muestra el diagrama de flujo de esta fase. El reto más relevante en esta etapa, ligado a un problema de diseño, está relacionado con la evaluación del desempeño docente. La normatividad establece uno de los requisitos es obtener, como mínimo, un resultado de nivel suficiente en la evaluación del desempeño docente. El INEE solo puede hacer esta certificación una vez que la CNSPD le informa sobre los resultados obtenidos en la evaluación del desempeño docente por los aspirantes a EC. Figura 3 Diagrama de Flujo de la Fase 3: Examen para la Certificación Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 18 En la instrumentación del diseño, las acciones relacionadas con las evaluación del desempeño docente no suceden como se esperaba. Los actores involucrados refieren no identificar a la instancia responsable de informar sobre sus resultados de evaluación del desempeño docente, y los aspirantes a EC señalan problemas de información (oportuna, clara y pertinente) y de coordinación entre las instancias involucradas. La premura con la que nos dijeron ‘sí, vas a ser evaluado’ si fue así de pronto, y nos dijeron: es como requisito, no es el de permanencia. Las personas del INEE nos decían ‘no, no, no nada más es requisito para que ustedes conozcan lo que van a evaluar’ y la gente del SPD nos decía ‘este, no, sí, ya es la de permanencia, pero vayan con su autoridad estatal’ y la autoridad estatal nos decía una cosa, y las del SPD otra, y los representantes del INEE, que en ese momento venían también se veía que en ese momento no había mucha coordinación y mucha comunicación. Eso nos generó mucha incertidumbre. (EC) Hay EC que no son notificados sobre su evaluación del desempeño; el SPD o la autoridad educativa, quien sea responsable de esto, comete errores graves en avisos y en validaciones que afectan la vida y trabajo de los docentes. Los subsistemas tienen la información correcta, pero la autoridad educativa no la consulta. (EC) Así, la etapa final del proceso de certificación se complica por la evaluación del desempeño. Para los aspirantes a EC este es un tema particularmente delicado y complejo, e incluso lo relacionan con la continuidad de su función como EC -mediante la recertificación- y, con la posibilidad de atraer a más aspirantes a EC. Fase 4 Ejercicio Evaluativo Una vez que los aspirantes a EC cuentan con su certificación, el proceso continúa con el ejercicio evaluativo. La Figura 4 muestra el diagrama de flujo de las actividades diseñadas en la normatividad para llevar a cabo el ejercicio evaluativo. En la instrumentación de esta etapa se identifican problemas de atribución, ya que el Ceneval, una asociación civil mexicana sin fines de lucro, tomó en la práctica las riendas del proceso. En entrevistas con personal de la CNSPD y el Ceneval la información refiere que el Ceneval fue invitado, por parte de la CNSPD, a participar para encargarse del proceso evaluativo. Según la información brindada por los participantes, la CNSPD entrega el listado vigente de EC para que el Ceneval seleccione y convoque de manera directa a quienes participarán en la evaluación de sus pares. La incorporación del Ceneval en el proceso evaluativo genera varios cambios en la instrumentación, más allá de un cambio de atribuciones. Ninguno de los otros actores tiene control de la información sobre quiénes son los EC que han sido llamados a evaluar y las razones por las que fueron, o no, convocados. Las AEL y OD, al no recibir información, no pueden apoyar a los EC con los permisos, o cualquier otra gestión, necesarios para su participación en las jornadas de evaluación. En voz de las AEL esto ha sido un problema, pues el Ceneval no tiene autoridad directa para otorgar permisos a los actores educativos y que éstos se ausenten de sus funciones en el sistema educativo y asistan a las jornadas de calificación. Los EC reportaron que eso les genera problemas importantes para asistir a las jornadas ya que muchas veces tienen que ausentarse sin permiso con consecuencias significativas para su trabajo. Algunos EC también reportaron que, en ocasiones, las escuelas y las AEL y OD se han rehusado a darles permiso para asistir a las jornadas de calificación, por lo que no participaron en ellas. Diseño e instrumentación de la evaluación docente entre pares en México 19 Figura 4 Diagrama de Flujo de la Fase 4: Ejercicio Evaluativo Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 20 Conclusiones Como resultado del análisis se identificaron aspectos desvinculados entre el diseño y la instrumentación en la política de EeP en México. Estos problemas pudieron originarse en la fase de diseño, en la de instrumentación o en ambas, y obstaculizaron la adecuada operación de la política de EeP, dificultando el alcance de sus objetivos. Los aspectos pueden resumirse en tres grandes vertientes: 1) poca claridad, desde el diseño, sobre las atribuciones y responsabilidades de las instituciones responsables de cada proceso en EeP (Chun & Rainey, 2005; Copland, 2001; May, 2018; Moynihan et al., 2011); 2) falta de información sobre los criterios a considerar en las distintas fases del proceso, incidiendo de manera negativa en la transparencia y rendición de cuentas de la política de EeP y de la evaluación del desempeño docente (Topping, 2009); y 3) falta de involucramiento de la perspectiva local desde el diseño, lo cual complicó la instrumentación de la EeP (Gofen, 2013). Con respecto a la primer vertiente, Topping (2009) subraya que la buena operación de la EeP depende de una buena comunicación y del entendimiento adecuado de los objetivos. Sin embargo en el caso mexicano el diseño del proceso de certificación de evaluadores, reflejado en los lineamientos y que contempla la participación de múltiples instancias en distintos niveles de actuación muestra severas inconsistencias. La red de atribuciones en los procesos es expresada en términos ambiguos como “coordinación”, “colaboración”, “coadyuvancia”, lo cual generó severas confusiones acerca de los responsables de las diversas acciones en los procesos. Esta falta de claridad afectó no solo la participación de los EC, sino también de las distintas instituciones comprometidas. Los actores involucrados refirieron no tener certeza sobre quiénes son los titulares o ejecutores de los procesos y, ante responsabilidades compartidas, se diluyeron las obligaciones y compromisos de los actores. La falta titularidad clara en la ejecución de diversos procesos generó por ejemplo que algunos EC se sintieran sin apoyo para ejercer su función evaluativa. Muchos en busca de respuestas tendían a acudir a todas las fuentes de información posibles- instituciones y figuras que muchas veces no estaban vinculadas formalmente con el proceso- buscando quién pudiera resolver sus preocupaciones y problemáticas. Las siguientes citas ejemplifican algunas dificultades: ¿Cuáles son los principales problemas a los que se enfrentan? … no sabes a quién acudir… a quién le reclamo que paguen, o con quién voy para saber qué hacer… no hay con quién acudir. Vas al INEE y te dicen ‘yo no’, CENEVAL dice: ‘no ejerzo ninguna autoridad sobre eso´, vas a la Secretaría y tienes que preguntar a varios por un oficio. (EC) (…) El INEE es coordinador, pero no participa activamente en el diseño de la evaluación. Esto hace que el proceso no sea coherente. Esto genera confusión. (EC) En ese sentido, es importante recordar que la coordinación, vinculación y el flujo de información no ocurre solamente entre las instancias federales. El nivel de complejidad se agudiza al considerar que la operación de estos procesos sucede en coordinación con las 32 entidades federativas, órganos desconcentrados y niveles educativos. Así, la organización y distribución de funciones, atribuciones y dinámicas de las instancias; el flujo de información del ámbito federal al estatal; entre otros aspectos, se traducían en una gradiente de expectativas y experiencias de todos los involucrados, particularmente, de los EC. Todo ello, incide en la valoración y en la confianza de los EC en los procesos de certificación y calificación. Diseño e instrumentación de la evaluación docente entre pares en México 21 Con respecto a la segunda vertiente identificada, la literatura resalta que la EeP puede generar un mecanismo que dote de confianza, credibilidad y legitimidad a los procesos evaluativos de los docentes (Gielen et al., 2011; Ortega, 2015). Incluso Tiana (2008) subraya las ventajas de que los gremios de docentes participen en su propia evaluación para evitar problemas de legitimidad tanto metodológica como de sus resultados. Por ello la información acerca de los criterios y la coherencia entre ellos y los procesos es tan importante. No obstante, en la experiencia mexicana, la transparencia y rendición de cuentas se observa como un área de oportunidad pues los actores claves no pudieron conocer los criterios utilizados en las decisiones. Ello se observa de manera particular en la (des)vinculación entre procesos iniciales de capacitación y la etapa final de evaluación. En términos prácticos, la información recabada da cuenta de que la forma en que los EC ejercieron el proceso de evaluación a sus pares estuvo desvinculada con la capacitación recibida y proceso de certificación que llevaron a cabo. Ello generó inconsistencias y falta de confianza entre los involucrados. Los evaluadores reciben información contradictoria y confusa. Les dicen que sí fueron a llamados a calificar y después que no, o cambia la información dependiendo de la fuente. La CNSPD les dice que sí, y la estatal, que no. (Enlace Estatal) El chiste de la evaluación del desempeño es darle una certeza al maestro y al momento en que los metes en toda esta dinámica entre autoridades y todo, es lo que menos sienten, no les das una certeza. (Entrevista CNSPD) Como tercer punto, Moreno (2011 y 2015) subraya que no basta con ser docente par y tener disponibilidad de tiempo para desempeñarse como evaluador ya que de los resultados de la evaluación derivan fuertes repercusiones (promoción, certificación, reconocimiento a la calidad, prestigio e incluso ayudas económicas) que afectan los derechos de los evaluados (Moreno, 2011, 2015). L a comprensión del contexto local en el que han de desempeñarse así como la situación en la que realizan sus funciones es fundamental en el diseño para lograr una correcta instrumentación (Gofen, 2013). En nuestro caso de estudio resalta la falta de la perspectiva local. Los servidores públicos a nivel local inciden en la instrumentación de toda política pública. En el caso de la EeP, esta participación es extensa debido a que incluye a los actores escolares, así como a autoridades educativas locales y federales. Sin embargo, la información recabada para esta investigación sugiere que hay otros actores que no estuvieron previstos en el diseño pero que influyen de manera determinante en las tareas de los EC: directores, supervisores, padres de familia y docentes que no participan en el proceso de certificación. De tal manera se identifica que en ocasiones la comunidad escolar no tenía información de cuándo era el proceso de evaluación lo que dificultaba la participación de los EC en las jornadas de evaluación. Necesitamos que nos digan quiénes son los evaluadores certificados en el estado, con eso, podríamos hacer un semáforo que nos indique quiénes han sido llamados muchas veces a las jornadas y quiénes no, y así podríamos equilibrar las ausencias en las escuelas y afectar, mucho menos, la normalidad mínima. Pero no sabemos nada. (Enlace Estatal) Conviene señalar que, en 2019 y como resultado del cambio de gobierno federal, se derogó la reforma educativa que dio origen al Sistema Nacional de Evaluación Educativa en México, y con ello desaparece la evaluación del desempeño docente, el INEE y la figura de los EC. Como suele suceder, los cambios políticos interrumpen la implementación de políticas educativas y se sustituyen por otras intervenciones antes de analizar sus efectos y sus áreas de mejora. Sin embargo, el Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 22 aprendizaje de una experiencia de EeP como la mexicana, la creciente tendencia en diversos países por evaluar docentes e involucrarles en su propia evaluación plantean una coyuntura propicia para replantear la instrumentación de estrategias que garanticen el desarrollo profesional de los docentes. Los hallazgos de esta investigación apuntan a la necesidad de cuidar el diseño y ajustar de forma correspondiente los procesos de instrumentación de la EeP. Entre los potenciales beneficios se encuentran: la generación de información pertinente y útil para retroalimentar la práctica docente (evaluación formativa), así como legitimidad, confianza y pertinencia en los procesos de evaluación al trabajo docente. Es de suma importancia que la política de EeP se reconsidere privilegiando la claridad, utilidad, coordinación y transparencia; así como una instrumentación que fortalezca y respalde la tarea de los docentes. Para futuras investigaciones sobre evaluación docente se sugiere continuar incorporando las voces de actores escolares, así como explorar las externalidades, positivas y negativas, de la EeP. Agradecimientos Nuestro profundo agradecimiento a las figuras educativas que participaron en este estudio: a las y los evaluadores certificados, las personas responsables de la instrumentación en las entidades, así como a representantes de las instancias federales, quienes generosamente destinaron su tiempo para brindar información y colaborar en este estudio. Referencias Adachi, C., Tai, J. H.-M., & Dawson, P. (2018). Academics’ perceptions of the benefits and challenges of self and peer assessment in higher education. Assessment & Evaluation in Higher Education, 43(2), 294-306. https://doi.org/10.1080/02602938.2017.1339775 Ahmad, Z. (2020). Peer observation as a professional development intervention in EFL pedagogy: A case of a reading lesson on developing the top-down processing skills of the preparatory year students. International Linguistics Research, 3(1), 1-15. https://doi.org/10.30560/ilr.v3n1p1 Ashenafi, M. M. (2017). Peer-assessment in higher education – twenty-first century practices, challenges and the way forward. Assessment & Evaluation in Higher Education, 42(2), 226-251. https://doi.org/10.1080/02602938.2015.1100711 Assaél, J., & Pavez, J. (2008). La construcción e implementación del sistema de evaluación del desempeño docente chileno: Principales tensiones y desafíos. Revista Iberoamericana de Evaluación Educativa. https://revistas.uam.es/index.php/riee/article/view/4665 Bell, A., & Thomson, K. (2018). Supporting peer observation of teaching: Collegiality, conversations, and autonomy. Innovations in Education and Teaching International, 55(3), 276-284. https://doi.org/10.1080/14703297.2016.1212725 Bonifaz, R. (2011). Origen de la evaluación docente y su conexión con las políticas públicas en educación. In R. G. J. Manzi, & Y. Sun (Ed.), La evaluación docente en Chile (pp. 13-34). MIDE UC, Centro de Medición Pontificia Universidad Católica de Chile. Chun, Y. H., & Rainey, H. (2005). Goal Ambiguity in U.S. Federal Agencies. Journal of Public Administration Research and Theory, 15(1), 1-30. https://doi.org/10.1093/jopart/mui001 CNSPD. (2017). Guía técnica del sustentante para la evaluación del desempeño del personal docente, personal con funciones de dirección y supervisión. Tercer grupo 2017. Educación Básica. http://servicioprofesionaldocente.sep.gob.mx/portal-docente-2014- 2018//content/ba/docs/2017/evaluacion_desempeno/guias/EB.PDF Contreras, G. A. (2018). Retroalimentación por pares en la docencia universitaria. Una alternativa de evaluación formativa. Formación Universitaria, 11, 83-94. Diseño e instrumentación de la evaluación docente entre pares en México 23 https://scielo.conicyt.cl/scielo.php?script=sci_arttext&pid=S0718- 50062018000400083&nrm=iso Copland, M. A. (2001). The myth of the superprincipal. Phi Delta Kappan, 82, 528-533. https://doi.org/10.1177/003172170108200710 CREFAL. (2017). La Reforma Educativa en México, Chile, Ecuador y Uruguay. Aportes para un análisis comparado. Michoacán, México. Retrieved from: https://www.redalyc.org/jatsRepo/4575/457555939011/html/index.html Creswell, J. W., & Poth, C. N. (2018). Qualitative inquiry & research design: Choosing among five approaches: Thousand Oaks. DOF. (2013). Ley General del Servicio Profesional Docente. Ciudad de México. Durand, J. (2014). Coordenadas metodológicas. De cómo armar el rompecabezas. In C. Oehmichen (Ed.), La etnografía y el trabajo de campo en las ciencias sociales (pp. 261-284). UNAM. Eather, N., Rileya, N., Miller, D., & Imig, S. (2019). Evaluating the impact of two dialogical feedback methods for improving pre-service teacher's perceived confidence and competence to teach physical education within authentic learning environments. Journal of Education and Training Studies, 7(32). https://doi.org/10.11114/jets.v7i8.4053 Eaton, K., Stritzke, W. G., & Ohan, J. L. (2019). Using scribes in qualitative research as an alternative to transcription. The Qualitative Report, 24(3), 586-605. https://doi.org/10.46743/2160-3715/2019.3473 Escudero, T. (2018). Evaluación del profesorado como camino directo hacia la mejora de la calidad educativa. Revista de Investigación Educativa, 37(1). https://doi.org/10.6018/rie.37.1.342521 Gasperini, L. (2000). The Cuban education system: Lessons and dilemmas. World Bank. https://documents1.worldbank.org/curated/ar/549011468746733557/pdf/multi0page.pdf Gielen, S., Dochy, F., & Onghena, P. (2011). An inventory of peer assessment diversity. Assessment & Evaluation in Higher Education, 36(2), 137-155. https://doi.org/https://doi.org/10.1080/02602930903221444 Gofen, A. (2013). Mind the gap: Dimensions and influence of street-level divergence. Journal of Public Administration Research and Theory, 24(2), 473-493. https://doi.org/10.1093/jopart/mut037 Grubb, W. N., Flessa, J., Tredway, L., & Stern, J. (2003). “A job too big for one”: Multiple principals and other approaches to school leadership. [Paper presentation]. American Educational Research Association,, Chicago. Hernández Fernández, J., De la Cruz Orozco, I., & Razo Pérez, A. E. (2020). Perfil de los evaluadores pares en México (2014-2017). Revista Mexicana de Investigación Educativa, 25(86) 627-656. Hill, M., & Hupe, P. (2009). Implementing public policy: Governance in theory and in practice. Sage. INEE. (2014). Informe anual de gestión 2014. Retrieved from https://www.inee.edu.mx/wp- content/uploads/2018/12/Informe_anual_de_gesti%C3%B3n_2014.pdf INEE. (2017). Lineamientos para la selección, capacitación y certificación de evaluadores del desempeño en Educación Básica y Media Superior para el ciclo escolar 2017-2018. Autor. King, N., Horrocks, C., & Brooks, J. (2018). Interviews in qualitative research (2nda ed.). SAGE Publications Limited. Krueger, R. A., & Casey , M. A. (2014). Focus groups: A practical guide for applied research (5ta ed.). Sage. Kuh, L. P. (2016). Teachers talking about teaching and school: collaboration and reflective practice via critical friends groups. Teachers and Teaching, 22(3), 293-314. https://doi.org/10.1080/13540602.2015.1058589 Linneberg, M., & Korsgaard, S. (2019). Coding qualitative data: A synthesis guiding the novice. Qualitative Research Journal, 19(3), 259-270. https://doi.org/10.1108/QRJ-12-2018-0012 Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 24 Lipsky, M. (1980). Street-level bureaucracy: Dilemmas of the individual in public services. Russell Sage Foundation. Lub, V. (2015). Validity in Qualitative Evaluation: Linking Purposes, Paradigms, and Perspectives. International Journal of Qualitative Methods, 14(5), https://doi.org/10.1177/1609406915621406 Majone, G., & Wildavsky, A. (1979). Implementation as Evolution. In J. L. P. y. A. B. Wildavsky (Ed.), Implementation (pp. 177-194). Berkeley: University of California Press. Marquina, M. (2008). Académicos como pares evaluadores en el sistema argentino de evaluación de universidades: diez años de experiencia. Revista de la Educación Superior, 4(148), 7-21. Retrieved from http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0185- 27602008000400001 May, P. (2018). El diseño y la implementación de las políticas públicas. In M. D. Pardo, M.; y Cejudo, G. (Ed.), Implementación de políticas públicas: Una antología. CIDE. Ministerio de Educación de Chile. (2019). Evaluación docente. Sistema Nacional de Desarrollo Profesional Docente:. Retrieved from http://www.cpeip.cl/evaluacion-docente/ Ministerio de Educación de Colombia. (2013). Sistema Colombiano de Formación de Educadores y Lineamientos de Política. Bogotá. Moreno, T. (2011). La cultura de la evaluación y la mejora de la escuela. Perfiles educativos, 33, 116-130. Retrieved from http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0185- 26982011000100008&nrm=iso Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, XLIV(174), 101-126. Moynihan, D. P., Fernández, S., Kim, S., LeRoux, K. M., Piotrowski, S. J., & Wright, B. E. (2011). Performance regimes amidst governance complexity. Journal of Public Administration Research and Theory,, 21(Supl.1), i141-i155. Murillo, J., & Román, M. (2010). Retos en la evaluación de la calidad de la educación en América Latina. Revista Iberoamericana de Educación, (53), 97-120. https://doi.org/10.35362/rie530559 Neuman, W. L. (2016). Understanding research (2nda ed.). Pearson. OCDE. (2009). Teacher evaluation. A conceptual framework and examples of country practices. Retrieved from https://www.oecd.org/education/school/44568106.pdf Ortega, A. (2015). Disposición del docente universitario respecto a la evaluación de pares. Revista Internacional de Aprendizaje en la Educación Superior, 2(1), 40-46. Retrieved from https://journals.epistemopolis.org/edusuperior/article/view/1002 Patton, M. Q. (2015). Qualitative research and methods: Integrating theory and practice. SAGE Publications. Ramírez, R. (2013). La reforma constitucional en materia educativa: alcances y desafíos. Retrieved from https://www.uv.mx/personal/kvalencia/files/2013/09/RCMEAD.pdf Ravela, P. (2009). La evaluación del desempeño docente para el desarrollo de las competencias profesionales. In E. Martín & F. Martínez (Eds.), Avances y desafíos en la evaluación educativa (pp. 113-126). OEI. Schneider, A., & Ingram, H. (1997). Policy design for democracy. University of Kansas Press. Schneider, B., Estarellas, P., & Bruns, B. (2019). The politics of transforming education in Ecuador: Confrontation and continuity, 2006-2017. Comparative Education Review, 63(2), 259-280. https://doi.org/10.1086/702609 Schulmeyer, A. (2002). Estado actual de la evaluación docente en trece países de América Latina. http://repositorio.minedu.gob.pe/bitstream/handle/123456789/3092/30.%20Estado%20a ctual%20de%20la%20evaluaci%C3%B3n%20docente%20EN%2013%20PA%C3%8DSES %20DE%20AM%C3%89RICA%20LATINA.pdf?sequence=1&isAllowed=y Diseño e instrumentación de la evaluación docente entre pares en México 25 Smith, A. (2019). The counternarrative of teacher evaluation: The Kangaroo Court, the Salem Witch Trials, and the Scarlett Letter. Education Sciences, 9(2), 147. http://dx.doi.org/10.3390/educsci902014 Tiana, A. (2008). Evaluación y cambio de los sistemas educativos: La interacción que hace falta. Avaliacao e Políticas Públicas em Educacao, 16(59), 275-296. http://dx.doi.org/10.1590/S0104- 40362008000200007 Topping, K. J. (2009). Peer assessment. Theory Into Practice, 48(1), 20-27. https://doi.org/10.1080/00405840802577569 U.S. Department of Education. (2016). Study of emerging teacher evaluation systems. Autor. Vaillant, D. (2008). Algunos marcos referenciales para la evaluación del desempeño docente en América Latica. Revista Iberoamericana de Evaluación Educativa, 1(2), 8-22. Retrieved from https://revistas.uam.es/index.php/riee/article/view/4663 Whipp, P., & Pengelley, R. (2017). Confidence building through peer observation of teaching and peer coaching in university departments: A good investment for some and not others. International Journal of Mentoring and Coaching in Education, 6. https://doi.org/10.1108/IJMCE- 07-2016-0059 Yin, R. K. (2017). Case study research: Design and methods (applied social research methods) (5ta ed.). Sage publications. Sobre las Autoras Ana Razo Centro de Investigación y Docencia Económicas (CIDE) y Consejo Nacional de Ciencia y Tecnología (Conacyt) ana.razo@cide.edu Doctora en Políticas Públicas por el Centro de Investigación y Docencia Económicas (CIDE). Es Profesora Investigadora-Cátedra Conacyt adscrita al Programa Interdisciplinario sobre Políticas y Prácticas Educativas (PIPE) del CIDE y miembro del Sistema Nacional de Investigadores (SNI). Sus líneas de investigación se centran en el mejoramiento del trabajo educativo en el aula, observación estructurada de la práctica docente; educación y género; así como evaluación de políticas y programas educativos. ORCID: https://orcid.org/0000-0002-8867-9980 Jimena Hernández-Fernández Centro de Investigación y Docencia Económicas (CIDE) y Consejo Nacional de Ciencia y Tecnología (Conacyt) jimena.hernandez@cide.edu Doctora en Educación por el Centro de Educación Internacional de la Universidad de Sussex, Maestra en Administración y Políticas Públicas por el CIDE y Licenciada en Economía por el Instituto Politécnico Nacional. Actualmente es Profesora Investigadora-Cátedra Conacyt adscrita al Programa Interdisciplinario sobre Políticas y Prácticas Educativas (PIPE) del CIDE y miembro del Sistema Nacional de Investigadores (SNI). Sus líneas de investigación se centran en economía de la educación, evaluación de política educativa; así como acceso, transición y progresión educativas. ORCID: https://orcid.org/0000-0002-7301-2649 Ivania de la Cruz Orozco ivania.cruz@gmail.com mailto:ana.razo@cide.edu https://orcid.org/0000-0002-8867-9980 mailto:jimena.hernandez@cide.edu https://orcid.org/0000-0002-7301-2649 mailto:ivania.cruz@gmail.com Archivos Analíticos de Políticas Educativas Vol. 30, No. 67 26 Doctora en Política Educativa por la Universidad de Columbia. Sus líneas de investigación incluyen educación en comunidades rurales y educación media superior. ORCID: https://orcid.org/0000-0002-7435-5678 archivos analíticos de políticas educativas Volumen 30 Número 67 10 de mayo 2022 ISSN 1068-2341 Los/as lectores/as pueden copiar, mostrar, distribuir, y adaptar este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, los cambios se identifican y la misma licencia se aplica al trabajo derivada. Más detalles de la licencia de Creative Commons se encuentran en https://creativecommons.org/licenses/by-sa/4.0/. Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. La sección en español para Sud América de AAPE/EPAA es publicada por el Mary Lou Fulton Teachers College, Arizona State University y la Universidad de San Andrés de Argentina. Los artículos que aparecen en AAPE son indexados en CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). Por errores y sugerencias contacte a Fischman@asu.edu Síganos en EPAA’s Facebook comunidad at https://www.facebook.com/EPAAAAPE y en Twitter feed @epaa_aape. https://orcid.org/0000-0002-7435-5678 https://creativecommons.org/licenses/by-sa/4.0/ http://www.doaj.org/ http://www.doaj.org/ https://www.facebook.com/EPAAAAPE