Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía Página web: http://epaa.asu.edu/ojs/ Artículo recibido: 10-12-2021 Facebook: /EPAAA Revisiones recibidas: 17-6-2022 Twitter: @epaa_aape Aceptado: 17-6-2022 archivos analíticos de políticas educativas Revista académica evaluada por pares, independiente, de acceso abierto y multilingüe Arizona State University Volumen 30 Número 170 22 de noviembre 2022 ISSN 1068-2341 Análisis de Validez Cultural del Estudio Internacional de Educación Cívica y Ciudadanía José Alfonso Jiménez Moreno César Gómez Monarrez & Miguel Ángel Orozco Vergara Universidad Autónoma de Baja California México Citación: Jiménez Moreno, J. A., Gómez Monarrez, C., & Orozco Vergara, M. A. (2022). Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía. Archivos Analíticos de Políticas Educativas, 30(170). https://doi.org/10.14507/epaa.30.7345 Resumen: El artículo aborda el problema de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía (ICCS), organizado por la International Association for the Evaluation of Educational Achievement. La intención fue analizar la manera en que esta prueba a gran escala tiene determinados alcances y limitaciones de índole epistemológico, conceptual y cultural, que, a su vez, pueden tener influencia en los resultados de los estudiantes mexicanos. Para ello, se realizaron entrevistas cognitivas a 19 estudiantes con edades entre 13 y 14 años, ubicados en diferentes regiones del país (norte, centro y sur), utilizando dos reactivos aplicados en México. Los resultados muestran cómo los reactivos generan diversas interpretaciones de la información presentada, en función de la postura epistemológica de los estudiantes, su dominio lingüístico de los conceptos, así como sus contextos. Resalta la necesidad de continuar analizando la validez cultural de evaluaciones internacionales en la población estudiantil mexicana. Palabras clave: evaluación a gran escala; evaluación internacional; evaluación educativa; validez; educación ciudadana http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.30.7345 Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía 2 Analysis of cultural validity of the International Study of Civic Education and Citizenship Abstract: The article addresses the cultural validity of the International Civic and Citizenship Education Study (ICCS), organized by the International Association for the Evaluation of Educational Achievement. The intention was to analyze the way this large-scale test has epistemological, conceptual and cultural scopes and limitations, which may influence the results of Mexican students. For this, cognitive interviews were conducted with 19 students with ages between 13 and 14 years old, located in different regions (north, center and south), using two items of this project. The results show how the items generate different interpretations of the information presented, depending on the epistemological position of the students, their linguistic mastery, as well as their own contexts. The article highlights the need to continue analyzing the cultural validity of international assessments in the Mexican student population. Key words: large-scale assessment; international assessment; educational assessment; validity; citizenship education Análise da validade cultural do Estudo Internacional de Educação Cívica e Cidadania Resumo: O artigo aborda o problema da validade cultural do International Civic Education and Citizenship Study (ICCS), organizado pela Associação Internacional para a Avaliação do Desempenho Educacional. A intenção foi analisar a forma como este teste de larga escala tem certos alcances e limitações de natureza epistemológica, conceitual e cultural, que, por sua vez, podem influenciar os resultados dos estudantes mexicanos. Para isso, foram realizadas entrevistas cognitivas com 19 estudantes com idades entre 13 e 14 anos, localizados em diferentes regiões do país (norte, centro e sul), utilizando dois reagentes aplicados no México. Os resultados mostram como os itens geram diferentes interpretações das informações apresentadas, dependendo da posição epistemológica dos alunos, seu domínio linguístico dos conceitos, bem como seus contextos. Destaca a necessidade de continuar analisando a validade cultural das avaliações internacionais na população estudantil mexicana. Palavras-chave: avaliação em larga escala; avaliação internacional; avaliação educacional; validade; educação cívica Análisis de Validez Cultural del Estudio Internacional de Educación Cívica y Ciudadanía Las evaluaciones a gran escala son una herramienta de política educativa de gran relevancia para la sociedad actual. El proyecto internacional de mayor trascendencia es, sin duda, el Programme for the International Student Assessment (PISA), gestionado por la Organización para la Cooperación y Desarrollo Económicos (OCDE); sin embargo, existen también otros ejercicios, como la Evaluación de la Calidad de la Educación en América Latina (ERCE), de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO). Proyectos como estos han permitido poner a debate sobre el papel político de la evaluación, así como los alcances de los marcos conceptuales sobre los cuales se emiten resultados y recomendaciones hacia los países participantes. En este marco, el presente artículo aborda un análisis de la manera en que una prueba a gran escala de corte internacional tiene determinados alcances de índole epistemológico, conceptual y cultural, que, a su vez, pueden influir en las interpretaciones que los estudiantes realizan sobre los instrumentos. Para este análisis se retoma el concepto de validez cultural (Solano-Flores y Milbourn, 2016), el cual favorece una mirada crítica respecto a alcances e implicaciones de una evaluación internacional sobre las diferentes culturas a las cuales dirige su análisis. La evaluación de interés es el Archivos Analíticos de Políticas Educativas, Vol. 30 No. 170 3 Estudio Internacional de Educación Cívica y Ciudadanía (ICCS, por sus siglas en inglés), que pretende conocer cómo los jóvenes están preparados para asumir su rol como ciudadanos (International Association for the Evaluation of Educational Achievement [IEA], 2018). La selección de la prueba ICCS responde a su relevancia para identificar elementos clave sobre cómo los jóvenes asumen un rol activo en la sociedad, elemento de relevancia para analizar entre los diferentes países el papel de ciudadano. Para el cumplimiento de esta intención, el estudio aborda las características del proyecto ICCS, con la finalidad de comprender su perspectiva teórica. Posteriormente se realiza una reflexión basada en la literatura respecto a aspectos de validez cultural; a partir de ello, se lleva a cabo un análisis de dos reactivos1 que conforman este instrumento, ambos utilizados en el más reciente de los estudios de ICCS en México. El análisis de la validez cultural se realizó por medio de entrevistas cognitivas a estudiantes mexicanos de diferentes regiones geográficas. Finalmente, se muestran las conclusiones y reflexiones derivadas del estudio. El Estudio ICCS El estudio es gestionado por la IEA, una cooperativa internacional de instituciones y agencias gubernamentales de investigación dedicada a hacer estudios para mejorar la educación mundial (IEA, 2020). La IEA tiene su sede en Holanda y gran parte de su trabajo se centra en realizar evaluaciones a gran escala relacionadas con la educación, como los proyectos Trends in International Mathematics and Science Study (TIMSS) o el Progress in International Reading Literacy Studies (PIRLS). Estudios como estos muestran a los países participantes un resultado comparativo de sus estudiantes, que pretende ser un insumo en materia de política educativa. El tema central de ICCS es valorar el rol de las habilidades cognitivas de los estudiantes en su preparación como futuros ciudadanos. Bajo esta idea, se asume que para que los estudiantes tengan un rol activo, necesitan tener conocimientos sobre las instituciones, acciones y procesos que acontecen en comunidades cívicas (Schulz et al., 2016). Es a través de esta evaluación que los países participantes pueden analizar la manera en que la población objetivo –estudiantes con una edad aproximada de 14 años de edad– conocen elementos que les permitirán desarrollarse como ciudadanos. ICCS ha tenido dos aplicaciones, la primera en 2009 y, la más reciente, en el año 2016. En esta última participaron poco más de 94,000 estudiantes del octavo grado2 en 3,800 escuelas de 24 países (Alemania, Bélgica, Bulgaria, Chile, China Taipéi, Colombia, Corea, Croacia, Dinamarca, Eslovenia, Estonia, Finlandia, Holanda, Hong Kong, Italia, Letonia, Lituania, Malta, México, Noruega, Perú, República Dominicana, Rusia y Suecia). Los resultados de ICCS 2016 se publicaron en México en el año 20183, y muestran una interesante comparación de cada uno de los países participantes para determinar el nivel de conocimiento cívico de los estudiantes (INEE, 2018). El marco de evaluación, el cual representa lo que conceptualmente se espera del conocimiento cívico de los participantes, se realizó por la IEA (2018) a través de la revisión teórico conceptual de ciudadanía, dando como resultado un instrumento que valora lo que se muestra en la Tabla 1. 1 Para efectos de este artículo, el término “ítem” se usa de forma indistinta respecto a “reactivo”. 2 Estudiantes que cursan el nivel 2 de la Clasificación Internacional Normalizada de la Educación (CINE, UNESCO, 2011). 3 En México, el estudio fue administrado por el Instituto Nacional para la Evaluación de la Educación (INEE); derivado de las reformas educativas en 2019 en el país, dicho instituto fue suplido por la Comisión Nacional para la Mejora Continua de la Educación (MEJOREDU). Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía 4 Tabla 1 Dominios y Subdominios Evaluados por ICCS 2016 Dominio Definición Subdominios Sociedad cívica y sistemas Se centra en los mecanismos formales e informales de las organizaciones que apuntalan los contratos cívicos con el funcionamiento de las sociedades. Ciudadanos: que se enfoca en las relaciones cívicas entre individuos y grupos, incluyendo roles, derechos y responsabilidades Instituciones del Estado: que se centra en las instituciones que promulgan la gobernanza cívica y la legislación para las personas que representan. Instituciones civiles: centrada en las instituciones que pretenden mediar el contacto de los ciudadanos con las instituciones del Estado, permitiendo así que los ciudadanos puedan ejercer diversos roles sociales. Principios cívicos Se enfoca en los fundamentos éticos de las sociedades cívicas. Equidad: se enfoca en que las personas tienen el derecho de un trato justo, y que la protección de la equidad es esencial para alcanzar la paz, armonía y productividad entre las comunidades. Libertad: se enfoca en la idea que todos los individuos deben tener libertad de creencia, de expresión, entre otros, como lo marca la declaración universal de derechos humanos. Sentido de comunidad: refiere al sentido de pertenencia entre sociedades, resaltando la responsabilidad y visión común existente entre los individuos y comunidades. Estado de derecho: es el principio en el que todos los ciudadanos, instituciones y entidades son sujetos de las leyes públicamente promulgadas. Implica un reconocimiento de la supremacía de la ley. Participación cívica Refiere a las manifestaciones de las acciones de los individuos en sus comunidades. Toma de decisiones: se centra en la participación activa que resulta de la implementación de política o su práctica dentro de una comunidad. Influencia: se centra en las acciones enfocadas en informar y afectar políticas, prácticas y actitudes en una comunidad. Participación de la comunidad: centrada en la conexión de las personas con su comunidad para el beneficio de ésta. Identidades cívicas Incluye roles cívicos de los individuos y sus percepciones sobre estos roles. Autoimagen cívica: se refiere a la experiencia de cada individuo en sus comunidades cívicas; se enfoca en los valores y roles cívicos de cada persona. Vinculación cívica: refiere al sentido de conexión individual hacia las diferentes comunidades y los diferentes roles cívicos que los individuos juegan en cada una de sus comunidades. Fuente: elaboración propia con información de Schulz et al. (2016). Archivos Analíticos de Políticas Educativas, Vol. 30 No. 170 5 El instrumento utilizado en ICCS 2016 está delimitado por estos cuatro dominios. En el informe técnico del estudio se comenta que la construcción del marco incluyó la consideración de los países participantes (IEA, 2018; Schulz et al, 2016). Adicional a estos contenidos, en sus instrumentos realizó la medición en diferentes niveles cognitivos. El primer de ellos es Conocimiento, que refiere a la información sobre civismo y ciudadanía que los estudiantes utilizan al enfrentarse a tareas complejas que les ayudan a darle sentido a un mundo cívico. El segundo es Razonamiento y aplicación, que refiere a las maneras en que los estudiantes utilizan la información cívica y ciudadana para alcanzar conclusiones más extensas que un uso simple de los conceptos, para su aplicación en contextos reales. Incluye también la interpretación de la información, relación de conceptos, integración, generalización, evaluación y predicción (Schulz et al, 2016). Además, se incluyeron diversos cuestionarios de contexto. Resalta que, para los países latinoamericanos, se incluyó un módulo que ahondó en las actitudes de los estudiantes hacia: prácticas gubernamentales autoritarias, discriminación de minorías, desobediencia de la ley, sentido de empatía, homosexualidad, prácticas corruptas, violencia y la aceptación de la diversidad. En la prueba del estudio se utilizaron 88 reactivos, de los cuales, 79 eran de opción múltiple con cuatro opciones de respuesta. Alrededor de 17 de los reactivos correspondían con los usados previamente en la aplicación de 2009, los cuales fungían con una función de ancla (permitiendo así comparaciones respecto al estudio de 2009). El informe técnico indica que los reactivos se desarrollaron con el apoyo de los países participantes en el estudio (IEA, 2018). A través de un trabajo en forma de taller y, bajo el escrutinio de revisiones entre pares, la IEA se aseguraba de la validez conceptual, la reducción de sesgos de contexto y la concordancia conceptual de cada uno de los reactivos que se proponían para el estudio. Se dio especial atención a que el contenido propuesto fuera coincidente con la población a la cual se dirigía el estudio y su aplicación intercultural. Una vez que los reactivos fueron revisados por pares, éstos fueron validados por las coordinaciones nacionales de los países participantes en el estudio, para posteriormente ser traducidos en varios idiomas y piloteados en seis países (Australia, Bélgica, Chile, Colombia, Malta y Eslovenia) (IEA, 2018). El proceso de traducción y adaptación de los reactivos implicó que en cada país se realizaran adaptaciones de expresiones utilizadas en cada uno de ellos, además, en el proceso de traducción se cuidó mantener el sentido, extensión e intención de cada elemento lingüístico. Cada ajuste requería una revisión con expertos en la lengua destino en cada país, así como por parte de la IEA (2018). Este proceso de elaboración – revisión – traducción – adaptación, fue la manera en que la IEA aseguró la validez de su instrumento en los diversos países participantes. Si bien, bajo una mirada tradicional de la psicometría indica que no deben realizarse ajustes drásticos a las preguntas que se aplican entre culturas, bajo la perspectiva de la validez cultural, las modificaciones en función del contexto son necesarias (Solano-Flores y Nelson-Barber, 2001). El proceso requirió dos acciones fundamentales: la traducción y la adaptación. La traducción se realizó por parte de cada uno de los países participantes4, cuidando lo siguiente (IEA, 2018): • No aclarar ni eliminar información del texto original, no agregar más información; • Utilizar terminología equivalente a la de la versión internacional; • Cuidar el mismo nivel de dificultad y grado de formalidad como la versión internacional; 4 Cabe resaltar que ni el informe técnico de la IEA (2018), ni el informe liberado por el INEE (2018) refieren al proceso de traducción y adaptación realizado por México. Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía 6 • Procurar el uso de terminología social, política e histórica equivalente apropiada para el idioma de destino; • Las expresiones idiomáticas se tradujeron correctamente, no necesariamente palabra por palabra; y • El texto debía considerar la gramática, puntuación, calificativos y modificadores, según corresponda para el idioma de destino. Este esquema promueve una traducción y adaptación en términos de equivalencia con la versión internacional. Para ello se realizó un proceso denominado back translation (IEA, 2018), en el que las propuestas de traducción y adaptación en el idioma objetivo se presentan traducidas nuevamente al inglés, de tal suerte que los revisores de la IEA valorarán el posible impacto de las modificaciones respecto a la propuesta internacional. De esta forma, la IEA, a través de verificadores de traducción internacional, aseguraba la comparabilidad de las versiones de los instrumentos traducidas a los diferentes idiomas. El proceso de traducción y adaptación de los instrumentos utilizados en ICCS refleja una clara intención de aseguramiento de comparabilidad entre los países; sin embargo, no es claro respecto a cómo se cuidó la validez cultural de los reactivos que conforman sus instrumentos. De esta manera, la IEA pretende asegurar que los reactivos que utiliza sean comprendidos en todos los países participantes se centra en elementos lingüísticos, de tal suerte que el análisis resultante sea relativamente unificado en la problemática de cada reactivo. Sin embargo, con fines de asegurar evaluaciones educativas justas, se debe pensar en el diseño, así como en usos y consecuencias en caso que haya grupos que no se vean del todo favorecidos (Elousa y Boeck, 2019). En este sentido, la adaptación lingüística enfocada en la comparabilidad de los reactivos sería insuficiente para asegurar que el estudio sea culturalmente válido, ya que implicaría un análisis sobre la manera en que los estudiantes hacen sentido de la experiencia de evaluación, debido a que éstos son aparatos culturales (Solano-Flores y Milbourn, 2016). El problema en cuestión se comprende mejor en palabras de Castro (2013, p. 209), al afirmar que “…sería ingenuo pensar que los procesos mentales, los conocimientos a priori y experiencias individuales de los que depende el proceso de significación sean comunes a todos los estudiantes…”. La labor de la IEA en el proceso de traducción y adaptación es muy valiosa para fines de asegurar una medición precisa y homologada en una evaluación internacional como lo es ICCS; sin embargo, no se reportan evidencias de la validez cultural, la cual puede tener repercusiones importantes en lo que respecta a la interpretación que los estudiantes hacen sobre las problemáticas que se presentan en cada uno de los reactivos del instrumento. De esta manera, el presente artículo permite un acercamiento hacia la validez cultural de dos reactivos de ICCS en estudiantes mexicanos. Validez Cultural Un estudio que resalta la relevancia de la sociedad y el papel del individuo en ella, como ICCS, implica un análisis serio de la manera en que sus instrumentos permiten emitir conclusiones sobre las respuestas de los estudiantes. Las evaluaciones de cualquier tipo deben ser justas para diferentes individuos, considerando que este tipo de ejercicios siempre están en contexto (Ruiz, et al, 2015); esto adquiere un sentido particular dadas las intenciones de ICCS de dar a conocer el conocimiento de los estudiantes para asumir su papel como ciudadanos, lo cual hace que el estudio sea particularmente sensible a cuestiones de diversidad cultural. Archivos Analíticos de Políticas Educativas, Vol. 30 No. 170 7 La cultura es un concepto de amplio espectro, el cual tiene matices interpretativos desde varias disciplinas. Para efectos de este estudio se consideró la perspectiva de Solano-Flores y Milbourn (2016), quienes, en el ejercicio de análisis de validez cultural de pruebas a gran escala de carácter internacional, consideran a la cultura como “…la historia compartida y el conjunto de experiencias, prácticas, valores y visiones compartidas en un grupo social y que son mediadas por normas explícitas o implícitas de comunicación y socialización” (p. 5). Esta perspectiva considera una notable amplitud, que implica aspectos como idioma, condiciones socioeconómicas, tradiciones, legislación, e, incluso, la manera de interpretación de información. En ese sentido, el estudio no pretende una operacionalización de la cultura para su análisis, sino se asume que los instrumentos y los reactivos que plantea la IEA no solo se conforman de un planteamiento formal de lo que se busca conocer (delimitado en el marco conceptual previamente descrito), sino que también existen interpretaciones y suposiciones por parte de los examinados que orientan diversas formas de respuesta. De esta manera, la validez cultural refiere a la manera en que las evaluaciones consideran las influencias socioculturales que moldean el pensamiento de los evaluados y, a su vez, cómo enfrentan las preguntas y la manera de responderlas (Solano-Flores y Nelson-Barber, 2001). En evaluación no debe minimizarse el elemento cultural, ya que permite contar con una visión que rompa con dogmas y sometimientos culturales entre sociedades (Leiva, 2013). En este sentido, Solano-Flores y Nelson- Barber (2001) sugieren las categorías mostradas en la Tabla 2 como guía para enmarcar la validez cultural de las evaluaciones: Tabla 2 Categorías que Permiten Rnmarcar la Validez Cultural de las Evaluaciones Categoría Consideraciones Epistemología Se relaciona con la manera en que los evaluados se enfrentan a los problemas evaluativos que se les presentan. Regularmente el uso de verbalizaciones permite una primera identificación de la manera en que los estudiantes hacen frente a los reactivos. Dominio lingüístico Cualquier evaluación depende primeramente del lenguaje, por lo que el dominio del lenguaje y sus diferentes usos en el marco de la evaluación son determinantes en cualquier evaluación. Perspectivas culturales sobre el mundo El contenido de las evaluaciones debe ser de relevancia, tener sentido para los evaluados. Estilos de comunicación y comunicación cultural La manera en que los estudiantes organizan la información y estructuran su respuesta puede ser influido por la manera en que está estructurada su lengua materna. Contexto de vida de los estudiantes La evaluación necesita reconocer las experiencias que son relevantes o representativas del contexto cultural de los estudiantes. Fuente: elaboración propia con información de Solano-Flores y Nelson-Barber (2001). Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía 8 Bajo esta perspectiva, es necesario que el diseño de las evaluaciones asegure que los instrumentos por utilizar tengan presente estas categorías, lo cual, a su vez, favorece que cualquier proyecto de evaluación sea coincidente con las tendencias que orientan a considerar a la diversidad como factor clave para una mejor educación. De acuerdo con el informe técnico de la IEA (2018), el desarrollo de instrumentos se realizó con el apoyo de revisión de expertos, esto como un medio para minimizar el sesgo posible en el diseño de reactivos, que es una acción que la literatura apoya como un medio de incrementar la validez cultural de los instrumentos (Ruiz et al, 2015; Ruiz-Primo y Li, 2006; Solano-Flores et al, 2006). Sin embargo, considerando el marco propuesto por Solano-Flores y Nelson-Barber (2001), una valoración de las categorías propuestas permitirá identificar la validez cultural de ejercicios importantes a nivel internacional como lo es ICCS. La importancia de la validez cultural no solo se remite a la perspectiva psicométrica, centrada en la disminución del error de medida que arrojan los instrumentos (Solano-Flores et al, 2006), sino que retoma la relevancia de la diversidad cultural en cualquier proceso evaluativo. Esto es relevante en sí mismo, debido a que la diversidad rompe con la idea de sometimiento cultural, evitando la “tiranía de la normalidad” (López Melero, 2006, en Leiva, 2013), pero, en el contexto de ICCS la relevancia es particular, sobre todo considerando su objetivo como proyecto internacional. La construcción de ICCS mantiene un procedimiento de desarrollo acorde con las sugerencias psicométricas; sin embargo, ¿es la evaluación de ICCS culturalmente válida? Una respuesta absoluta a esta pregunta resulta poco viable, debido a la multiculturalidad que seguramente se presenta entre los 24 países participantes, sobre todo si asumimos que la cultura y el idioma influyen en la manera en que la gente hace sentido de la experiencia evaluativa (Solano-Flores y Milbourn, 2016). A pesar de ello, es factible conocer la validez cultural de un instrumento como este para determinadas comunidades en lo particular; esta información permitirá analizar los alcances de los resultados de los estudiantes participantes. Metodología Para cumplir el objetivo del estudio se utilizaron dos reactivos de ICCS aplicados en México, utilizados con permiso expreso de la IEA5. Con el propósito de abonar a la comprensión de la validez cultural de este tipo de instrumentos, se realizó un análisis considerando como marco analítico la propuesta de Solano-Flores y Nelson-Barber (2001). De acuerdo con Castro (2013), la perspectiva epistemológica de los estudiantes puede tener fuerte influencia en los resultados que éstos obtienen en evaluaciones a gran escala. Un análisis de la manera en que los estudiantes se enfrentan a las demandas evaluativas permitirá comprender cómo el instrumento coincide con las perspectivas culturales de un determinado grupo de estudiantes en lo particular (Okazaki, 1995). Las interpretaciones de un reactivo suelen identificarse por medio de verbalizaciones (Ruiz et al., 2015; Solano-Flores y Nelson-Barber, 2001). Es a través de éstas que se muestran cómo …nuestras creencias, experiencias, actitudes y valores tienen un profundo sentido cultural, es decir, están configurados desde las redes de significados sociales y culturales que construimos de manera colectiva (Leiva, 2013, p. 174) 5 Autorización del Director Ejecutivo de la IEA. Número: IEA-19-086. Dicho permiso considera el uso de ambos reactivos con fines de la investigación de validez cultural que se presenta. Archivos Analíticos de Políticas Educativas, Vol. 30 No. 170 9 El estudio se realizó en un grupo de estudiantes de diferentes comunidades en México. Se contó con la participación de 19 estudiantes, cuya edad promedio osciló los 13.84 años, con una desviación típica de .765. La mayoría (65%) indicó residir en el norte del país (60% en Baja California, 5% en Chihuahua); 15% en la zona centro (5% en Aguascalientes, 5% en Ciudad de México y 5% en el Estado de México); y 10% residen en el sur, específicamente en Yucatán. Casi dos terceras partes de la población asistía a escuelas públicas (65%); quienes asistían a escuelas públicas tenían edades entre 13 y 14 años. Por otra parte, 55% se encontraban en segundo grado y 45% en el tercer año de secundaria. La identificación de los estudiantes participantes se realizó de manera simple, estableciendo un consecutivo numérico a cada uno de ellos. En términos curriculares, los estudiantes cursaban la asignatura “Formación cívica y ética”, cuyos contenidos son regulados por la Secretaría de Educación Pública. Los estudiantes se identificaron a través de una muestra por conveniencia. El estudio se llevó a cabo durante la pandemia derivada del virus SARS-CoV-2; por lo tanto, la identificación de los participantes no pudo realizarse a través de un acercamiento a escuelas. Se buscó la participación de jóvenes con el perfil que la IEA exige para la aplicación de ICCS a través de redes de investigadores educativos diferentes estados de la república. La selección de los participantes de diferentes regiones se realizó con la intención de tener valoraciones de estudiantes de contextos diversos dentro de México, asumiendo la heterogeneidad cultural que pueda existir entre ellos. De esta manera, el estudio no pretende realizar inferencias sobre una cultura en particular, ni mucho menos sobre el país en general; al contrario, un análisis derivado de la participación de estudiantes en diferentes regiones favorece la comprensión respecto a cómo los jóvenes de diversos contextos y culturas dentro de un mismo país pueden interpretar un par de reactivos en común. Para el análisis se decidió hacer uso de dos reactivos de ICCS aplicados en México en 2016. La selección se realizó con base en los resultados de México, generando una variable con las claves de respuesta correctas para cada ítem en las bases de datos públicas del proyecto6. Con base en estos resultados, se seleccionó un ítem de alta proporción de aciertos (superior al 80%) y un ítem de baja proporción de aciertos (menor al 20%). El primero de los reactivos utilizados para este análisis es el identificado con el ID CI2PCM1, con una alta proporción de aciertos, el cual se muestra en la Figura 1. De acuerdo con la información proporcionada por la IEA, la respuesta correcta es la tercera opción. El reactivo se centra en el dominio de Principios cívicos. Este reactivo considera conceptos importantes en términos culturales, como el concepto de Paz (relacionado con la equidad, Schulz et al, 2016). Además, hace uso de recursos visuales diversos, e, incluso, de conceptos como tarjetas electrónicas. 6 Disponibles en la página web de la IEA: https://www.iea.nl Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía 10 Figura 1 Reactivo CI2PCM1 Archivos Analíticos de Políticas Educativas, Vol. 30 No. 170 11 El segundo reactivo objeto de análisis, con un bajo porcentaje de aciertos, fue el que se muestra en la Figura 2. Figura 2 Reactivo CI3NWM1 Acorde con las especificaciones proporcionadas por la IEA, la respuesta correcta es la tercera opción. El reactivo se centra en el dominio de Principios cívicos. Este hace alusión a principios universales como la igualdad de derechos o un trato justo, además de aspectos contextuales relacionados con la aplicación de leyes por parte del gobierno y sus instituciones (relacionado con la equidad y estado derecho, Schulz et al, 2016). El estudio comprendió dos fases. En la primera se generaron evidencias de validez de los instrumentos de recogida de datos y en la segunda se llevaron a cabo entrevistas cognitivas a los estudiantes. Fase 1. El objetivo de esta fase fue realizar un jueceo con expertos en el diseño de pruebas (evaluación del logro, psicometría, etc.) quienes valoraron la pertinencia de las herramientas de recogida de datos. Participaron cinco expertos con siguientes características que se muestran en la Tabla 3: Tabla 3 Características de los Participantes en el Jueceo Participante Características 1 Estudios de doctorado 14 años de experiencia en educación Experiencia avanzada en análisis de validez cultural Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía 12 Participante Características 2 Estudios de doctorado 25 años de experiencia en educación Experiencia avanzada en análisis de validez cultural 3 Estudios de doctorado 6 años de experiencia en educación Experiencia básica en análisis de validez cultural 4 Estudios de maestría 10 años de experiencia en educación Experiencia avanzada en análisis de validez cultural 5 Estudios de doctorado 19 años de experiencia en educación Experiencia básica en análisis de validez cultural En este caso, se analizaron dos instrumentos: (a) Guía de evaluación de las verbalizaciones abiertas y (b) Cuestionario de entrevista cognitiva. Aunque ambos partirán de las mismas dimensiones de evaluación, cada uno fue valorado de manera independiente por los jueces. En el formato utilizado, los expertos evaluaron cuatro características de ambos instrumentos: claridad, congruencia, pertinencia y suficiencia. El periodo de esta revisión se realizó entre septiembre y octubre del año 2020. Se recopilaron observaciones por escrito en una sábana de información; se realizaron ajustes en aquellos reactivos en los que los jueces manifestaban algún problema en claridad, congruencia, pertinencia y suficiencia; o bien, cuando no había coincidencia entre juicios. Fase 2. El objetivo de esta fase fue llevar a cabo entrevistas cognitivas a los estudiantes seleccionados para identificar los procesos implicados en la respuesta de los ítems de interés. Para llevar a cabo la evaluación de la entrevista cognitiva se contó con dos instrumentos, los cuales se describen a continuación: a. Guía de observación, en la que se verificó en qué medida existen evidencias en las respuestas dadas por los estudiantes de las dimensiones sugeridas por Solano-Flores y Nelson-Barber (2001). La rúbrica valoró en una escala de cuatro puntos cada uno de estos aspectos: (a) Nulo o ausente, (b) Mínimo o escaso, (c) Con suficiente evidencia, (d) Evidencia abundante. Para la aplicación de este instrumento, los observadores realizaron un ejercicio de calibración de juicios, en el que, a través de simulaciones, se establecieron discusiones que permitían identificar límites unificados entre las diversas categorías de análisis. b. Guía de entrevista. Se trató un instrumento abierto, formado de 19 preguntas en las que se indagaron elementos explícitos sobre la tarea realizada, en relación con las categorías de análisis preestablecidas conforme a la literatura, a fin de completar la información sobre las cinco dimensiones evaluadas. La guía se estructuró en función de las categorías propuestas por Solano-Flores y Nelson-Barber (2001): Epistemología, Dominio lingüístico, Perspectivas culturales sobre el mundo, Estilos de comunicación y comunicación cultural, así como Contexto de vida de los estudiantes. Como observadores participaron estudiantes de licenciatura en Psicología, licenciatura en Ciencias de la Educación, así como de Maestría en Ciencias Educativas. El estudio se llevó a cabo entre mayo Archivos Analíticos de Políticas Educativas, Vol. 30 No. 170 13 y junio de 2021, y, derivado de la pandemia por el virus SARS-CoV-2, la entrevista cognitiva se realizó de manera completamente virtual a través de la plataforma Zoom. En promedio, las entrevistas duraron entre 60 y 80 minutos. a. Solicitud de autorización para grabar la sesión. La sesión inició presentando a los padres o tutores y al estudiante la intención de la sesión y se pidió a ambos su autorización para la participación y para grabar la sesión. b. Rapport y aplicación de ítem de ensayo. Una vez logrado el consentimiento para grabar la sesión, se pidió al padre de familia que abandonara la sesión. Se realizó un rapport, procurando una charla sobre cómo se sentía el participante y cómo había desarrollado sus estudios durante el periodo pandémico. Posteriormente se explicó en qué consistía el ejercicio evaluativo, y se realizó un ejercicio de ensayo. Una vez que el ensayo concluyó y que el observador se había asegurado que el aspirante comprendió la forma como se realizará la tarea, se pasó al siguiente punto. c. Aplicación de los ítems. Se mostraron en pantalla, uno a la vez. Se solicitó al entrevistado que lo resolviera en voz alta, mientras el observador tomaba notas sobre las expresiones y cualquier indicio de confusión, alerta o comprensión por parte del participante. Una vez que la persona terminó de resolver el ítem, el observador aplicó entonces la guía para indagar el proceso, después de concluida esta aplicación, se mostró el segundo ítem y se repitió el proceso. d. Cierre de la sesión y agradecimiento. La sesión cerró con un agradecimiento por la participación de los estudiantes, enfatizando la importancia que ha tenido para el equipo de investigación. Los datos derivados de la rúbrica se analizaron y procesaron utilizando estadística descriptiva. En el caso de las respuestas abiertas del cuestionario se transcribieron y, posteriormente, se analizaron a través de categorías deductivas con la guía de las dimensiones establecidas en la literatura, a fin de indagar sobre los procesos implicados en la respuesta de los ítems. La codificación la realizaron los autores del artículo. De esta manera, las respuestas de los participantes permiten una valoración del nivel de validez cultural de los ítems en la población participante. Si bien no da oportunidad de hacer conclusiones robustas sobre todo el estudio de ICCS, orienta respecto a las perspectivas de una población en particular, ello como insumo de validez cultural de esta evaluación internacional. Resultados Hallazgos Cuantitativos Reactivo CI2PCM1 Al cuestionarles por qué el grupo eligió la tarjeta B en lugar de la tarjeta A, hubo relativas diferencias en la respuesta dada por los estudiantes. Poco más de la mitad eligió la respuesta B (52.6%), aproximadamente una cuarta parte eligió la respuesta A (21.1%), un 15.8% optó por la respuesta B y, de forma paralela, un 5.3% eligió la respuesta C y, la misma cifra se presentó para quienes eligieron más de una respuesta o no eligieron ninguna. De acuerdo con las especificaciones de este reactivo la respuesta correcta es la opción C, solo 5.3% de los participantes acertó. Se contabilizaron todas las respuestas afirmativas para las 13 preguntas. Los resultados se muestran en la Tabla 6. Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía 14 Tabla 6 Tasa de respuestas afirmativas a las preguntas dicotómicas (sí, no) incluidas en la guía de entrevista para el reactivo CI2PCM1 No. Pregunta Porcentaje 3 ¿Estás seguro de tu respuesta? 100.0% 4 ¿Habías contestado alguna vez preguntas similares a esta? 52.6% 6 ¿Entiendes lo que te están preguntando? 97.2% 7 ¿Conoces todas las palabras que se mencionan en la pregunta? 52.6% 9 ¿Te parece que la pregunta es clara? 97.1% 10 ¿Te suena familiar/conocido lo que se pregunta? 78.9% 12 Anteriormente, ¿habías escuchado antes algo parecido a lo que se menciona en la pregunta? 55.3% 13 ¿Alguna parte de la pregunta te parece poco clara o confusa? 26.3% 14 ¿Crees que podría escribirse de forma más clara esta pregunta? 52.6% 15 ¿Crees que las opciones de respuesta pueden escribirse de otra forma? 52.6% 19 ¿Crees que es necesario que todos aprendamos este tipo de conocimientos? 100% 20 ¿Has estado en alguna situación en la que has necesitado saber este tipo de información? 42.1% 21 ¿Podrías platicarme si esta pregunta tiene relación con cosas que has visto o experiencias que te han sucedido? 52.6% Los participantes identifican la relevancia de este tipo de contenidos; sin embargo, manifiestan no conocer del todo las palabras que se utilizan en el reactivo (52.6%), un bajo porcentaje comentó que ya habían escuchado algo parecido a lo que se menciona en la pregunta (55.3%), además de considerar que la pregunta podría redactarse de forma más clara (52.6%). Resalta que solo 52.6% de los participantes manifestaron que la pregunta tiene relación con cosas que han visto o con experiencias previas. Reactivo CI3NWM1 En la selección de respuesta correcta, la mayoría eligió la opción C (63.2%), más de una cuarta parte eligió la respuesta B (26.3%) y 10.5% eligió más de una respuesta o no eligió ninguna. En este caso, la opción correcta es la C, por lo que 62% de los participantes acertó a la respuesta. La Tabla 5, que a continuación se muestra, describe las respuestas de los participantes respecto a la Archivos Analíticos de Políticas Educativas, Vol. 30 No. 170 15 forma de contestar este reactivo; las repuestas reflejan el porcentaje de participantes que contestaron “Sí” en cada pregunta. Tabla 5 Tasa de Respuestas Afirmativas a las Preguntas Dicotómicas (sí, no) Incluidas en la Guía de Entrevista para el Reactivo CI3NWM1 No. Pregunta Porcentaje 3 ¿Estás seguro de tu respuesta? 100.0% 4 ¿Habías contestado alguna vez preguntas similares a esta? 21.1% 6 ¿Entiendes lo que te están preguntando? 97.2% 7 ¿Conoces todas las palabras que se mencionan en la pregunta? 89.5% 9 ¿Te parece que la pregunta es clara? 88.9% 10 ¿Te suena familiar/conocido lo que se pregunta? 55.3% 12 Anteriormente, ¿habías escuchado antes algo parecido a lo que se menciona en la pregunta? 39.5% 13 ¿Alguna parte de la pregunta te parece poco clara o confusa? 15.8% 14 ¿Crees que podría escribirse de forma más clara esta pregunta? 39.5% 15 ¿Crees que las opciones de respuesta pueden escribirse de otra forma? 36.8% 19 ¿Crees que es necesario que todos aprendamos este tipo de conocimientos? 89.5% 20 ¿Has estado en alguna situación en la que has necesitado saber este tipo de información? 26.3% 21 ¿Podrías platicarme si esta pregunta tiene relación con cosas que has visto o experiencias que te han sucedido? 57.9% Lo observado en las Tablas 5 y 6 orientan elementos importantes respecto a la validez cultural. Por ejemplo, en el reactivo CI3NWM1, un alto porcentaje de participantes manifiestan entender lo que se les pregunta (97.2%) –lo cual puede estar relacionado con el alto porcentaje de respuesta correctas manifiesto en este caso–, a pesar que muy pocos participantes expresaron haber contestado previamente preguntas de este tipo (21.1%). Los estudiantes declararon poca experiencia con este tipo de contenido (26.3%), pero el entendimiento respecto a lo que se preguntó es claro. Hallazgos Cualitativos Los resultados obtenidos a través de este ejercicio ofrecen una perspectiva interesante respecto a la interpretación de los participantes en relación con las categorías de validez cultural Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía 16 propuesta por Solano-Flores y Nelson-Barber (2001). En ese sentido, los resultados de índole cualitativa se muestran en función de las categorías utilizadas. Epistemología Reactivo CI2PCM1. El ejercicio que plantea este reactivo implicaba argumentar sobre la decisión de selección de una tarjeta u otra, ambas utilizadas para representar la paz entre culturas. Los resultados de las entrevistas cognitivas en el aspecto epistemológico muestran una interesante diversidad de respuestas; algunas de ellas se enfocan en mostrar respuestas simples, argumentando únicamente que se selecciona una sobre otra; muestra de ello es el siguiente ejemplo: “…ahm… ¿Cuál de las siguientes razones explica mejor porque el grupo eligió la tarjeta B en lugar de la tarjeta A?... Pues sería que… porque las personas escogieron la tarjeta B en lugar de la tarjeta A” (Participante 1). Una segunda respuesta muestra otro tipo de acercamiento al problema: “Que unos estudiantes diseño una tarjeta electrónica… ahhh, la primera es con las banderas se podría decir y globos y la otra son con niños, diferentes lenguas o idiomas, pero dicen ‘paz’, entonces ellos quieren promover pues la paz.” (Participante 2). Esta respuesta nos acerca más a una interpretación menos literal de la información presentada, en la que el participante comprende la intención de promoción de la paz que establece el problema, identificando, incluso, la diversidad de lenguas que el reactivo presenta. Ahora, otras respuestas refieren lo que la paz representa para el mundo, así como la diversidad de culturas plasmadas en los dibujos: Mientras leía las preguntas y el recuadro mi idea es la que se me vino a la mente muy rápido fue porque… la razón por la que eligieron la tarjeta B. Era porque... Representa más... la parte del mundo… de donde debe estar… ante todo y que todos se deben llevar bien… Y eso... Para que todos piensen diferente… idiomas… creo que dice que todos son de diferentes lugares pero que aun así se llevan muy bien. (Participante 3). Esta respuesta refleja ya una identificación de las diferencias culturales que pretende mostrar el reactivo a través de sus recursos gráficos. Bueno pues yo estoy de acuerdo con la dos, porque es mejor muestra mejor como la paz están todas partes porque, además en las diferentes vestimentas de los niños son más explícitos por ponerlo en distintos idiomas, en los distintos globos, en que a comparación de la tarjeta A que muestra muchos símbolos, que para ciertas personas no son muy claros, entonces muchos podrían confundirse y no entenderlo muy bien. (Participante 4) Esta última opinión presenta un enfrentamiento epistemológico más complejo, hablando incluso cómo la imagen de los niños con globos es mucho más explícita respecto a la intención de mostrar a diversidad. De esta manera, los ejemplos reflejan una amplia variedad en las maneras de interpretar el reactivo en cuestión; como es de esperarse, las respuestas están fuertemente influenciadas por las perspectivas epistemológicas de los lectores. Se puede observar que, al menos con la información proporcionada por los participantes, no basta con la comprensión lingüística ni la comprensión literal del problema que presente un reactivo para orientar una respuesta en particular, ya que las interpretaciones de cada lector orientan una amplitud de perspectivas. Reactivo CI3NWM1. Las respuestas de los participantes fueron diversas y nutridas, respecto a la lógica que orienta una respuesta en particular sobre la razón más justa para enfrentar el Archivos Analíticos de Políticas Educativas, Vol. 30 No. 170 17 problema de lugares de trabajo ruidoso. En lo general, la manera en que los participantes se enfrentan al problema evaluativo se manifiesta bajo descripciones simples, reiterando la información manifiesta explícitamente en la pregunta (el daño a la audición derivado de trabajos ruidosos); o bien, hablar de soluciones simples que no requieren de legislaciones o negociaciones, como el uso de tapones para oídos. “Mientras leía la respuesta…Pensé…en una respuesta inmediata…que deberían de comprar…que el gobierno debería de dar dinero para comprar tapones...a sus…a sus trabajadores para que no escuchen el ruido” (Participante 3). Esta respuesta muestra claramente una interpretación básica del problema, refiriendo a una solución que no se manifiesta en las opciones de respuesta. En contraparte, vemos algunas respuestas que consideran un acercamiento un tanto más complejo: …pues estoy más de acuerdo con el 3 porque sinceramente, la primera no podrían cerrar todos los trabajos lugares de trabajo ruidosos por ejemplo, obras de construcción porque podría afectar muy gravemente a la economía de ciertos países o ciudades, tampoco darles dinero a los trabajadores para ayudarles a encontrar mejor trabajo debido a que los recursos de cada país y zona son muy limitados entonces darle dinero a tantas personas podría igual afectar a la a la economía, la 4 meter a la cárcel a todos los dueños de lugares de trabajo ruidosos pues tampoco considero que sería algo como tan grave para meter a la cárcel aunque si es perjudicioso [sic] para ciertas personas, entonces estoy más de acuerdo con la 3 por qué crear leyes que declaren que los empleadores deben proteger del ruido a los trabajadores no sé, establecer un horario, poniendo puertas o plásticos de contención dependiendo de qué en qué proyecto estén trabajando. (Participante 4) En esta respuesta, el participante describe las diferentes opciones de respuesta que ofrece el reactivo, y describe el por qué las considera plausibles o no. El acercamiento epistemológico en este caso devela cómo el participante en cuestión infiere diferentes posibilidades y consecuencias que no se encuentran de forma explícita dentro del contexto del reactivo. Por otra parte, también se observaron respuestas que manifiestan la lógica detrás de la implementación de leyes, en el sentido respecto a cómo las normas ayudan a regular problemáticas entre personas: “Pues cuál sería la manera más razonable o más mmm... de forma moral para, para resolver el problema de un de un lugar donde trabajan o van las personas donde hay mucho ruido y causa mucho ruido” (Participante 5). En esta última respuesta, el participante demuestra una reflexión en la cual hace uso de conceptos no explícitos dentro del reactivo, argumentando como fundamento de la selección de respuesta el aspecto moral para los involucrados. El factor epistemológico de los participantes, al menos en este reactivo, demuestra cómo los estudiantes refieren a elementos que van más allá de lo explícito. Para hacer frente a la información, los participantes hacen uso de diversos recursos derivados de sus contextos. Dominio Lingüístico Reactivo CI2PCM1. El reactivo es muy atractivo a simple vista debido a los recursos gráficos que utiliza; sin embargo, en cuanto al dominio lingüístico, que es determinante en cualquier proceso evaluativo, la pregunta/instrucción no resultó tan clara para los estudiantes; incluso, que el reactivo utilice términos poco comunes, puede influir en la comprensión cabal del reactivo y, por ende, en los posibles resultados: “…mmm… la pregunta si, un poquito no le entendí a la explicación a lo mejor simplificando más lo podría entender mejor y así” (Participante 6). En general, la mayoría de comentarios respecto a la claridad de la pregunta o instrucción se manifiestan de esta manera, implicando, en algunos casos, la lectura en más de una ocasión para su comprensión. Resulta en particular interesante la referencia de los participantes a la poca familiaridad Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía 18 con la palabra atañe (utilizada en la tercera opción de respuesta del reactivo): “Supongo que la se podría modificar es la numero 3, muestra mejor que conseguir la paz nos atañe a todos, al menos esa palabra aquí en México casi no se escucha o al menos yo no la he escuchado, si nos podría a llegar a poner confuso a los jóvenes” (Participante 8). Esta perspectiva se repite por varios participantes: “No entendí lo que es la palabra atañe y por eso no dije como que pues esa no” (Participante 5). La palabra atañe es un término utilizado de forma adecuada, y resulta clave para comprender la intención de la opción de respuesta que la contiene; sin embargo, como lo demuestran las expresiones, los participantes no están familiarizados con un término de esta naturaleza. Como se apuntaba desde un inicio (Solano-Flores y Nelson-Barber, 2001), el conocimiento del lenguaje y sus términos resulta clave para la validez cultural de los instrumentos utilizados, dada su alta influencia en los posibles resultados. Reactivo CI3NWM1. Este reactivo, a diferencia del CI2PCM1, no cuenta con recursos gráficos. Si bien, a simple vista pareciera que la información es bastante clara, los comentarios de los participantes no necesariamente tienen una comprensión clara en su primera lectura. Por ejemplo, el participante 9 comentó “Una respuesta no [la entendí], pero lo demás si le entendí”. De la misma manera, el participante 10 expresó “No [le entendí] tanto, tengo que leerla 2 veces”. En general, el reactivo pareciera no tan claro para una comprensión inmediata a una primera lectura; si bien, como se manifestó en la categoría previa, hay una comprensión general de la problemática que plantea el reactivo, no es un planteamiento tan claro en una primera lectura. Perspectivas Culturales sobre el Mundo Reactivo CI2PCM1. Respecto a la manera en que el contenido del reactivo tiene sentido para los evaluados, se presentó una interesante diversidad de perspectivas. Algunas respuestas, las más simples, se centran en reafirmar su opinión o experiencia personal sobre el tema, mientras que las más complejas hacen referencia a la relación entre la paz y el conflicto asociado a ésta. Un ejemplo de las respuestas más simples lo comenta el participante 10: “Porque los niños prefieren la paz que pues por los símbolos de la tarjeta”. Por otra parte, el participante 5 expresó: “Porque este, siento que es la que mejor da a entender, eh... lo que lo que querían dar a entender ellos compartiendo la tarjeta, o sea, de que la paz está en todas partes no importa si eres de América, si eres europeo, hay paz”. La respuesta que a continuación se muestra es de particular interés, al reflejar eventos del contexto del participante: “Más que nada digamos, las marchas eh, por ejemplo, la última marcha de las mujeres siento que pudo haber sido más pacífica, porque fue mucho fue mucho caos lo que generó, muchas personas heridas, eh cosas destruidas, autos rayados, pintados” (Participante 4). El participante en cuestión hacía referencia a un evento local (una marcha de mujeres contra la violencia de género), dando así un sentido al reactivo más allá de la información incluida en el mismo, resaltando –bajo su perspectiva– la necesidad de contar con expresiones menos violentas. De esta manera, este reactivo en particular generó perspectivas donde se reflejan contextos particulares de los participantes, así como referencias al sentido personal que la temática generó en ellos. Reactivo CI3NWM1. Al igual como se ha observado en el reactivo CI2PCM1, así como en categorías previas, se presentaron respuestas que reflejan la manera en que algunos participantes enuncian elementos propios de su vida cotidiana; mientras que en otros casos el acercamiento cultural del reactivo se hace más en función de elementos del medio, con el que los estudiantes pretenden dar sentido a la información. En ese sentido, el participante 9 afirmó que el contenido del reactivo es relevante, dado que es… “Importante para mi familia y amigos si tienen familia que Archivos Analíticos de Políticas Educativas, Vol. 30 No. 170 19 trabaja así”. Con esta respuesta, el participante manifiesta la relevancia de las condiciones laborales con ruido para las personas que estén en dichas situaciones, e, incluso, si su familia lo experimentara. La siguiente respuesta muestra un acercamiento similar: “...pues exactamente que… a veces no… las decisiones que toman [los dirigentes] no son muy buenas y muchas veces no nos ayuda a pues… [a] nosotros, las personas que vivimos en México en este caso” (Participante 1). Otra respuesta interesante es la siguiente: “El gobierno ha hecho muchas cosas buenas, sus leyes, la constitución, pero siento que está lleno de corrupción” (Participante 8). En este caso, la participante hace uso de la información del reactivo para comentar elementos que ella vive en su país, incluso tocando temas que no necesariamente se relacionan de forma explícita con el contenido de este reactivo: “Pues no tanto porque la persona que trabajan allí se pueden quedar sin trabajo si cierran el lugar. Para mi familia [piensa por un momento] si es un poco importante, amigos, no lo sé” (Participante 10). Si bien al final pareciera dubitativa, la respuesta de este participante refleja la relevancia del tema en función de su condición familiar, preguntándose qué pasaría si las personas que trabajan en dicho lugar se quedaran sin empleo. Este reactivo generó perspectivas que reflejan el mundo inmediato de los participantes, ya sea sobre la situación del país, o bien, relacionando el contenido del reactivo con sus familiares o amigos. No se refleja una identificación de índole individual o personal sobre la temática, sino en función de su entorno inmediato. Estilos de Comunicación y Comunicación Cultural Reactivo CI2PCM1. Esta categoría pretende reflejar la manera en que los participantes organización la información que se presenta en el reactivo y estructuran su respuesta en función de las formas de comunicación establecidas en su lengua materna. Este reactivo mostró respuestas interesantes respecto a cómo los estudiantes estructuran sus respuestas: “Paz, pues para mí significa este como estar una tranquilidad, eh es como un cierto sentimiento de pues de compañerismo de lealtad y, pues, de buenos pensamientos, o sea, es algo que une a las personas” (Participante 5). Esta respuesta refleja la manera en que el participante comprende el término central del reactivo, sin necesariamente hacer referencia a la manera en que se trata dicho elemento dentro del mismo. La paz es una manera de darle entender a la gente que lo que no quieres es estar mal o que no quieres la guerra, por ejemplo, que quieres estar pues tranquilo, con todas las personas que están a tu alrededor y que no quieres que pasen conflictos entre ellos y que mejor tengan tranquilidad. (Participante 11) En estas dos respuestas, el participante muestra una perspectiva personal sobre el concepto de paz para sí mismo, sin necesidad de relación explícita respecto a la información del reactivo. Existen otro tipo de respuestas, que difieren en la estructura y forma de redacción, pero mantienen una clara intención de reflejar una perspectiva personal: “…paz… significa este…mm… como… entre personas llevarse bien sin importar las diferencias que tienen… uno del otro… lo importante es la armonía y esas cosas… yo entiendo” (Participante 3). De esta manera, este reactivo refleja una fuerte cercanía con las perspectivas y comunicación cultural propia de los estudiantes participantes. Reactivo CI3NWM1. En este reactivo algunos participantes mostraron respuestas que refieren a interpretaciones simples de los términos utilizados. El participante 9 comentó “Podría ser como entender algo bien”, refiriendo a la palabra razonable. De manera similar, el participante 4 expresó “Razonable que sería algo pacíficamente y que pueda beneficiar a todas las personas”. Aunque también hubo expresiones un tanto más elaboradas: Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía 20 Pues la palabra razonable es que tenga sentido la cosa o el objeto; por ejemplo, tienes que en vez de poner una excusa: como por ejemplo, que faltaste al trabajo porque había por ejemplo llovió ese mismo día y no pudiste ir al trabajo y pues esa no es una opción razonable para no ir a trabajar, porque si tienes que ir a trabajar tienes que ir a trabajar. (Participante 11) En este ejemplo, el participante trata de dar una explicación más profunda, y, para ello, hace uso de un ejemplo de la vida cotidiana que refleje el sentido que da al término razonable. En general, las respuestas, con mayor o menor estructuración en su constitución, reflejan formas de comunicar la manera en que los participantes comprenden uno de los términos más relevantes del reactivo en cuestión. En este caso en particular, los participantes intentan describir su perspectiva personal sin hacer uso de los recursos que ofrece cada reactivo, sino en función de sus propias experiencias. Contexto de Vida de los Estudiantes Reactivo CI2PCM1. En el caso de esta categoría se encontraron respuestas interesantes; en primer lugar, algunas de ellas hablan sobre su experiencia dentro de sus escuelas. Como, por ejemplo, este…por ejemplo, creo que estábamos en la escuela y se empezaron a pelear por un trabajo unos compañeros, y era como, de que…pues, hay que recalcar recalcarles que somos unas personas civilizadas y hay que aprender a resolver los problemas, de pues, de forma pacífica. (Participante 5) En otros casos, se reflejan experiencias escolares respecto a procesos de enseñanza, como lo comenta el participante 4, “En ciertas tareas de…igual de cívica y ética, es que hablan sobre promover la paz y cosas así”. De la misma manera, el participante 6 comentó “mmm… a lo mejor en la escuela, nos estaban enseñando sobre culturas de paz, pero no he escuchado nada de ahí en fuera”. Estos dos últimos testimonios refieren cómo el reactivo genera interpretaciones de temas escolares. Otros casos refieren a eventos fuera del ámbito escolar, como el participante 11, “Pues sí, normalmente igual mis papás me preguntan que si se exactamente que es la paz”. O bien, el participante 8, quien comentó “Serían cosas como las noticias”, haciendo clara referencia a eventos que observa en ese tipo de canales de información. Vale la pena resaltar algunas respuestas que no referían a experiencias escolares o de su contexto sobre el tema de la paz, sino que referenciaban al uso de tarjetas, como se muestra en el reactivo en cuestión. Pues, por ejemplo, creo que iba a ser la…eh, creo que el día de las Naciones Unidas y [la maestra] empezaba a preguntar para hacer tarjetitas y, y este nos empezaron a preguntar que cuál de las tarjetas era mejor para, ajá, para promover en el día del de las Naciones Unidas. (Participante 5) En particular, la siguiente respuesta refleja ambas cuestiones; es decir, resalta el tema de la paz, así como el uso de tarjetas: “Para que vean el… [suspiro] la importancia de la paz… para que sepan… que no está bien… y no sean malas y así… también… para que se expresen a través de las tarjeras y sepan que es correcto” (Participante 3). El reactivo genera interpretaciones interesantes por parte de los participantes, no solo por la temática de paz, la cual se puede relacionar con experiencias escolares, así como de contextos de la vida cotidiana, como las noticias. Sino también se prestó a interpretaciones respecto a los recursos que el reactivo utiliza para plantear la problemática que le interesa presentar al lector. Archivos Analíticos de Políticas Educativas, Vol. 30 No. 170 21 Reactivo CI3NWM1. En el caso de este reactivo, se generaron diferentes respuestas, en las más complejas se compara la situación del ítem con problemas más cercanos a su entorno: “En mi caso no trabajo en alguna empresa que trabajo ruidoso o que tenga problemas por ruido. Por eso no le tomé tanta importancia” (Participante 6). Esta primera respuesta refleja cómo el participante argumenta no darle importancia al contexto, dado que no trabaja en una empresa como la que se describe en el ejemplo en cuestión. Pues yo…en realidad… pues no trabajo, pero tengo clases… y aquí…pues donde vivo… Y sé que nomás no es donde vivo, es en toda la ciudad y hay mucho ruido, pero pues… tengo clases y mi mamá trabaja y mi hermana tiene clases también y a veces es difícil concentrarse con tanto ruido afuera. (Participante 1) En contraste, esta última respuesta comienza argumentando que, si bien no trabaja, en su contexto y condiciones personales también se presenta ruido que puede impedir una adecuada concentración para sus actividades. Pues, en ejemplos de, en ejemplos de la vida cotidiana como por ejemplo construcciones eh…excavaciones, porque tienden a ser muy ruidosos para ciertas personas, de hecho, en varios lugares ilegalizaron usar dinamita para excavaciones debido a que era muy ruidoso para ciertas personas. (Participante 4) En esta respuesta en particular, el participante refiere a la manera en que la situación del contexto es similar a lo que sucede en lo cotidiano, además resalta cómo pudiera no ser legal el uso de la dinamita debido al mismo problema. Existen otra serie de respuestas, sin embargo, se presentan de manera similar como a las que se describen. Sin embargo, vale la pena resaltar que no hubo respuestas que refirieran a la legalidad o establecimiento de normas para la resolución de conflictos, salvo la última respuesta descrita, que refirió al veto en el uso de la dinamita. En cualquier caso, el reactivo permitió que los participantes generaran interpretaciones relacionadas con sus contextos personales. Reflexiones Finales El ejercicio analizado representó una aproximación empírica respecto a la validez cultural de dos reactivos de la prueba ICCS, instrumento de una relevancia considerable a nivel internacional. Los resultados de esta prueba pretenden dar información a los países participantes respecto al conocimiento cívico a través de la indagación de aspectos como la participación cívica en estudiantes jóvenes (IEA, 2018). Esta temática es de gran relevancia, ya que no se abordan cuestiones que tradicionalmente se analizan bajo otros instrumentos, sino que implica valoraciones sobre dominios que los estudiantes utilizan al enfrentarse a tareas complejas que les ayudan a darle sentido al mundo (Schulz et al., 2016). La pregunta por la validez cultural de los instrumentos representa un sentido importante de análisis, con el fin de avanzar en el aseguramiento que su consideración en el diseño de pruebas permita reducir el riesgo de llevar conclusiones imprecisas en los diferentes contextos que se aplican (Ruiz et al., 2015). Esto adquiere un matiz importante en un instrumento que se aplica a varios países, con diferentes lenguajes, culturas y perspectivas del mundo, con el cual se realizan inferencias sobre las condiciones cívicas de las poblaciones. Este tipo de análisis permite ampliar la perspectiva de aplicaciones internacionales en contextos como el mexicano, complementando los ejercicios de traducción que las instancias organizadoras llevan a cabo, como el proceso descrito por la IEA (2018). Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía 22 De esta manera, el ejercicio presentado representa una primera aproximación de análisis de la validez cultural de dos reactivos utilizados en este importante ejercicio internacional. La metodología utilizada no permite, ni pretende, hacer inferencias sobre un sector poblacional, sobre todo considerando la enorme diversidad cultural de las diferentes regiones de México, así como la heterogeneidad de los jóvenes mexicanos en diversos sentidos, entre ellos el geográfico o el socioeconómico; sin embargo, se ofrece información sobre la manera de acercarse a la validez cultural de dos reactivos de este ejercicio evaluativo, esto bajo un marco muy concreto de análisis (Solano-Flores y Nelson-Barber, 2001). El ejercicio de traducción que describe la metodología de la IEA (2018) para el estudio se reafirma como adecuado en la generalidad, ya que los reactivos logran comunicar su intención, sin atentar la comparabilidad respecto con otros países; sin embargo, es importante hacer notar la manera en que los participantes manifiestan que este entendimiento puede estar supeditado a una doble lectura, e, incluso, hay palabras que no necesariamente se comprenden del todo y que, en algunos casos, pudiera afectar el entendimiento del reactivo en general. Este primer elemento lingüístico deja una enseñanza relevante, en el que no basta una traducción de la información, sino que es importante valorar que la conformación lingüística de la evaluación tenga sentido por los evaluados. Al respecto, vale la pena resaltar también el sentido epistemológico mostrado por los participantes, quienes muestran una diversidad de comprensión de la información en ambos reactivos. Si bien hay diferentes interpretaciones, es claro cómo el reactivo CI2PCM1, que muestra un tema de referencia cercana a los estudiantes, así como interesantes recursos gráficos, promueve que los estudiantes interpreten fácilmente las intenciones del reactivo. Por otra parte, el CI3NWM1 refleja acercamientos distintos; sin embargo, los estudiantes intentan relacionar el contenido de lo que se les pregunta con aspectos que vayan más allá del contexto explícito en el reactivo. Respecto a las perspectivas culturales sobre el mundo, el reactivo CI2PCM1 generó reflexiones importantes en los participantes, relacionado la temática de la paz con sus propias circunstancias escolares, así como incluso en eventos que sucedían en sus contextos al momento de desarrollo de este ejercicio. El reactivo CI3NWM1 también generó algunas reflexiones de los participantes, sin embargo, no hubo una clara respuesta respecto a cómo la legalidad es necesaria en la vida de las sociedades. Los participantes se enfocaron en las condiciones de trabajo de sus familias y contexto; es decir, relacionando el tema de los reactivos en su entorno inmediato. Algo similar sucedió con la comunicación cultural. En el reactivo CI2PCM1, los participantes muestran sus perspectivas personales sobre la temática; de tal suerte que la estructura de este ítem refleja cercanía para los contextos y culturas de los estudiantes. Por su parte, en el reactivo CI3NWM1, los estudiantes se enfocaban mucho más en los términos poco familiares para ellos, más que en la temática del establecimiento de normas y leyes para la convivencia; aunque, aún con ello, la intención de los estudiantes de analizar la situación bajo sus propias experiencias es clara. Por último, respecto al contexto de vida, es clara la manera en que el reactivo CI2PCM1 generó una mayor identificación del contexto de vida de los participantes respecto al CI3NWM1, al menos bajo el núcleo temático de cada uno de ellos. Esto se observa en la manera en que los comentarios sobre el ítem CI3NWM1 tocan el tema de la normatividad y legalidad de forma tangencial, enfocándose más en que existe ruido en su vida cotidiana. Con este análisis es posible identificar la manera en que los lectores de un reactivo de esta naturaleza pueden desarrollar diversas interpretaciones, en las que entran en juego epistemologías, culturas, perspectivas sobre el mundo, además del uso del lenguaje como herramienta interpretativa. De igual manera, es necesario considerar cómo el reactivo CI2PCM1 hace uso de recursos gráficos con los que los participantes logran identificar de forma más clara las intenciones que se pretenden Archivos Analíticos de Políticas Educativas, Vol. 30 No. 170 23 en la evaluación; aún a pesar que se utilizan términos poco conocidos por los estudiantes. En contraparte, el ítem CI3NWM1 no cumple del todo el cometido de lograr interpretaciones sobre la importancia de la normatividad y legalidad en la vida de las sociedades. ¿Estas interpretaciones pudieran tener influencia en el porcentaje de respuestas correctas que la IEA reporta en el estudio internacional? Además, queda pendiente reflexionar sobre si elementos de la constitución familiar puede abonar a la influencia contextual a la hora de interpretar una evaluación. Desde la perspectiva de la IEA (2018), la prueba pretende medir conocimiento cívico, y, para ello, organiza una estrategia de diseño y traducción de reactivos, con la finalidad que sea aplicable a todas las poblaciones que participan en el estudio. Sin embargo, desde la perspectiva de la validez cultural, existen factores sociolingüísticos (Elousa y De Boeck, 2019), culturales (Solano-Flores y Milbourn, 2016) y epistemológicos (Castro, 2013) que influyen en la interpretación de las evaluaciones. De tal suerte que ejercicios como el que se presenta nos invitan a cuestionar si los puntajes y resultados que se reportan en los informes internacionales se deben únicamente al factor del conocimiento cívico por sí mismo. En el ámbito metodológico, el estudio resaltó el uso de entrevistas cognitivas (Ruiz et al., 2015), que permitieron conocer las situaciones que experimentan participantes de la edad y características de la población objetivo de ICCS. Si bien no hay representatividad estadística en los datos mostrados, representa un modesto acercamiento a la manera en que estudiantes mexicanos interpretan y experimentan la experiencia de enfrentarse a evaluaciones de índole internacional. De esta manera, se reafirma la importancia de estudiar a mayor profundidad y alcance las características de los contextos y la manera en que los estudiantes responden a las evaluaciones, esto como elemento que puede estar relacionado con los resultados que se obtienen en estas evaluaciones (Ruiz-Primo y Li, 2016). Pero, adicionalmente, es necesario resaltar la necesidad de continuar analizando la validez cultural de evaluaciones, con el fin de matizar los resultados que se comunican y sirven de insumo para la toma de decisiones políticas. Un elemento importante para ello puede ser la consideración de un estudio de esta naturaleza con mayor amplitud, buscando mayores elementos de comparabilidad entre estudiantes, una mayor población participante; e, incluso, un comparativo con estudiantes de otros países. Una mirada de esta naturaleza permitirá ampliar la perspectiva respecto a las diferentes maneras de comprender la validez cultural de pruebas de carácter internacional. Agradecimientos Los autores agradecen a la Dra. Alicia Alelí Chaparro Caso-López, que en paz descanse, por su arduo interés en el desarrollo de este estudio y su orientación metodológica. Su guía académica y personal fue clave para la realización de este artículo. Referencias Castro, D. (2013). Prueba de PISA 2009. La competencia lectora, una explicación didáctica sobre las posibles causas del bajo nivel de desempeño de los estudiantes mexicanos en la subescala de Integrar e Interpretar. Tendencias Pedagógicas, 21, 199-213. Elousa, P., & De Boeck, P. (2019). Educational assessment issues in linguistically diverse contexts: A case study using a generalized linear mixed model. Language, Culture and Curriculum. http://10.1080/07908318.2019.1662432 http://10.0.4.56/07908318.2019.1662432 Análisis de validez cultural del Estudio Internacional de Educación Cívica y Ciudadanía 24 Instituto Nacional para la Evaluación de la Educación [INEE]. (2018). Estudio Internacional de Educación Cívica y Ciudadana. Cívica 2016. Informe Nacional de Resultados. https://www.inee.edu.mx/wp-content/uploads/2018/12/P1D318.pdf International Association for the Evaluation of Educational Achievement [IEA]. (2016). ICCS 2016 assessment. TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College. International Association for the Evaluation of Educational Achievement [IEA]. (2020). About IEA. Recuperado el 19 de enero de 2020 en: https://www.iea.nl/ International Association for the Evaluation of Educational Achievement [IEA]. (2018). ICCS technical report. IEA Netherlands. Leiva Olivencia, J. J. (2013). Bases conceptuales de la educación intercultural. De la diversidad cultural a la cultura de la diversidad. Foro de Educación, 11(15), 169-197. http://dx.doi.org/10.14516/fde.2013.011.015.008 Okazaki, S., & Sue, S. (1995). Methodological issues in assessment research with ethnic minorities. Psychological Assesment, 7(3), 367-375. https://doi.org/10.1037/1040-3590.7.3.367 Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura [UNESCO]. (2011). Clasificación internacional normalizada de la educación. UNESCO Montreal. Ruiz, G., Pérez, M., Langford, P., & García, A. (2015). Atención a la diversidad en evaluaciones educativas externas. Muestra de prácticas internacionales. Instituto Nacional para la Evaluación de la Educación. Ruiz-Primo, M. & Li, M. (2016). Ítems contextualizados de ciencias en PISA: La conexión entre las demandas cognitivas y las características de contexto de los ítems. Revista Electrónica de Investigación y Evaluación Educativa, 22(1), 1-23. https://doi.org/10.7203/relieve.22.1.8280 Schulz, W., Ainley, J., Fraillon, J., Losito, B., & Agrusti, G. (2016). IEA International Civic and Citizenship Education Study 2016 Assessment Framework. Springer. https://doi.org/10.1007/978- 3-319-39357-5 Solano-Flores, G., & Nelson-Barber, S. (2001). On the cultural validity of science assessments. Journal of Research in Science Teaching, 38(5), 553-573. https://doi.org/10.1002/tea.1018 Solano-Flores, G., & Milbourn, T. (2016). Capacidad evaluativa, validez cultural y validez consecuencial en PISA. Revista Electrónica de Investigación y Evaluación Educativa, 22(1), 1-17. http://dx.doi.org/10.7203/relieve.22.1.8281 Solano-Flores, G., Contreras, A., & Backhoff, E. (2006). Traducción y adaptación de pruebas: Lecciones aprendidas y recomendaciones para países participantes en TIMSS, PISA y otras comparaciones internacionales. Revista Electrónica de Investigación Educativa, 8(2), 1-21. Velasco, L., & Rentería, D. (2019). Diversity and interculturality: The indigenous school in the context of migration. Estudios Fronterizos, 20, 1-28. Sobre los Autores José Alfonso Jiménez Moreno Universidad Autónoma de Baja California jose.alfonso.jimenez.moreno@uabc.edu.mx Doctor en Pedagogía por la Universidad Nacional Autónoma de México. Miembro del Sistema Nacional de Investigadores, nivel I. Actualmente se desempeña como investigador en el Instituto de Investigación y Desarrollo Educativo de la Universidad Autónoma de Baja California. Su línea de investigación es la evaluación educativa. ORCID: https://orcid.org/0000-0003-0704-7883 https://www.inee.edu.mx/wp-content/uploads/2018/12/P1D318.pdf https://www.iea.nl/ http://dx.doi.org/10.14516/fde.2013.011.015.008 https://doi.org/10.1037/1040-3590.7.3.367 https://doi.org/10.7203/relieve.22.1.8280 https://doi.org/10.1007/978-3-319-39357-5 https://doi.org/10.1007/978-3-319-39357-5 https://doi.org/10.1002/tea.1018 http://dx.doi.org/10.7203/relieve.22.1.8281 mailto:jose.alfonso.jimenez.moreno@uabc.edu.mx https://orcid.org/0000-0003-0704-7883 Archivos Analíticos de Políticas Educativas, Vol. 30 No. 170 25 César Gómez Monarrez Universidad Autónoma de Baja California gomez.cesar@uabc.edu.mx Maestro en Ciencias Educativas. Actualmente se desempeña como asistente de investigación en el Instituto de Investigación y Desarrollo Educativo de la Universidad Autónoma de Baja California. Miguel Ángel Orozco Vergara Universidad Autónoma de Baja California miguel.orozco@uabc.edu.mx Maestro en Ciencias Educativas. Actualmente se desempeña como asistente de investigación en el Instituto de Investigación y Desarrollo Educativo de la Universidad Autónoma de Baja California. archivos analíticos de políticas educativas Volumen 30 Número 170 22 de noviembre 2022 ISSN 1068-2341 Los/as lectores/as pueden copiar, mostrar, distribuir, y adaptar este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, los cambios se identifican y la misma licencia se aplica al trabajo derivada. Más detalles de la licencia de Creative Commons se encuentran en https://creativecommons.org/licenses/by-sa/4.0/. Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. La sección en español para Sud América de AAPE/EPAA es publicada por el Mary Lou Fulton Teachers College, Arizona State University y la Universidad de San Andrés de Argentina. Los artículos que aparecen en AAPE son indexados en CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). Sobre el consejo editorial: https://epaa.asu.edu/ojs/index.php/epaa/about/editorialTeam Por errores y sugerencias contacte a Fischman@asu.edu Síganos en EPAA’s Facebook comunidad at https://www.facebook.com/EPAAAAPE y en Twitter feed @epaa_aape. mailto:gomez.cesar@uabc.edu.mx mailto:miguel.orozco@uabc.edu.mx https://creativecommons.org/licenses/by-sa/4.0/ http://www.doaj.org/ http://www.doaj.org/ https://epaa.asu.edu/ojs/index.php/epaa/about/editorialTeam https://www.facebook.com/EPAAAAPE