Escolas em Foco: A avaliação de impacto do programa de ‘políticas baseadas em evidências’ da rede municipal de ensino do Rio de Janeiro Página web: http://epaa.asu.edu/ojs/ Artigo recebido: 20/07/2021 Facebook: /EPAAA Revisões recebidas: 07/01/2022 Twitter: @epaa_aape Aceito: 18/01/2022 arquivos analíticos de políticas educativas Revista acadêmica, avaliada por pares, independente, de acesso aberto, e multilíngüe Arizona State University Volume 30 Número 110 26 de julho 2022 ISSN 1068-2341 Escolas em Foco: A Avaliação de Impacto do Programa de ‘Políticas Públicas Baseadas em Evidências’ da Rede Municipal de Ensino do Rio de Janeiro Felipe Macedo de Andrade Universidade Federal do Rio de Janeiro Brasil Ricardo Ceneviva Universidade do Estado do Rio de Janeiro Brasil & Mariane C. Koslisnki Universidade Federal do Rio de Janeiro Brasil Citação: Andrade, F. M., Ceneviva, R. & Koslinski, M. C. (2022). Escolas em Foco: A avaliação de impacto do programa de ‘políticas baseadas em evidências’ da rede municipal de ensino do Rio de Janeiro. Archivos Analíticos de Políticas Educativas, 30(110). https://doi.org/10.14507/epaa.30.7096 Resumo: O artigo investiga o impacto de um programa de incentivo ao uso de dados por atores escolares no desempenho dos estudantes da rede pública municipal do Rio de Janeiro, Brasil. A premissa associada a esse tipo de programa está baseada na perspectiva de que intervenções de incentivo ao uso de dados educacionais para planejamento trariam mudanças nas atitudes, conhecimento e práticas dos atores escolares e, portanto, contribuiriam para elevar o desempenho dos estudantes e reduzir desigualdades. O impacto do programa foi verificado a partir do modelo de diferenças em diferenças (DiD). A primeira estratégia de análise não contou com qualquer mecanismo de pré-processamento dos dados e a segunda, com objetivo de reduzir o viés de seleção e aumentar a capacidade de inferência causal, foi empregada a técnica de pareamento antes do modelo de DiD. Apesar das estatísticas http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.30.7096 Escolas em Foco 2 descritivas indicarem crescimento constante no desempenho acadêmico dos alunos tanto em matemática como em língua portuguesa e no fluxo escolar de ambos os grupos ao longo dos quatro anos de análise, os resultados encontrados nas duas análises são tênues substantivamente e pouco significantes estatisticamente. Palavras-chave: política educacional; ensino fundamental; desempenho dos estudantes; uso de dados Escolas em Foco: The assessment of the impact of an 'evidence-based public policies' program of the municipal education network of Rio de Janeiro Abstract: The paper assesses the impact of a data use program on student’s educational achievement in language and math in public schools in Rio de Janeiro, Brazil. The idea behind this kind of program is based on the perspective that interventions aimed to encourage the use of educational data for planning and pedagogical activities would result in changes in the attitudes, knowledge, and practices of school agents and, therefore, would contribute student achievement and the reduction of inequalities. The impact of the program was examined using a differences-in-differences statistical models (DiD). The first analysis strategy did not have any pre-processing mechanism, and for the second strategy, to reduce bias selection and increase the power of causal inference, the matching method was adjusted before DiD model. Although descriptive statistics suggests constant increase in student academic performance both in mathematics and language and school retention rates of both groups over four years of analysis, the results suggest both strategies are substantively weak and not statistically significant. Keywords: educational policy; elementary education; student achievement; data use Escolas em Foco: La evaluación de impacto del programa 'políticas basadas en evidencia' del sistema escolar municipal de Río de Janeiro Resumen: El artículo investiga el impacto de un programa de fomento del uso de datos por parte de actores escolares sobre el desempeño de los alumnos de la red pública municipal de Río de Janeiro, Brasil. La premisa asociada a este tipo de programas parte de la perspectiva de que las intervenciones para incentivar el uso de datos educativos para la planificación generarían cambios en las actitudes, conocimientos y prácticas de los actores escolares y, por tanto, contribuirían a elevar el rendimiento de los estudiantes y reducir desigualdades El impacto del programa se verificó utilizando el modelo Diferencias en Diferencias (DiD). La primera estrategia de análisis no contó con ningún mecanismo de preprocesamiento de datos y la segunda, con el fin de reducir el sesgo de selección y aumentar la capacidad de inferencia causal, se utilizó la técnica de emparejamiento antes que el modelo DiD. A pesar de que las estadísticas descriptivas indican un crecimiento constante en el rendimiento académico de los estudiantes tanto en matemáticas como en portugués y en el flujo escolar de ambos grupos durante los cuatro años de análisis, los resultados encontrados en ambos análisis son sustancialmente débiles y no estadísticamente significativos. Palabras clave: política educativa; enseñanza fundamental; desempeño de los estudiantes; uso de datos Arquivos Analíticos de Políticas Educativas Vol. 30, No. 110 3 Escolas em Foco: A Avaliação de Impacto do Programa de ‘Políticas Públicas Baseadas em Evidências’ da Rede Municipal de Ensino do Rio de Janeiro O objetivo deste artigo é investigar o impacto do programa ‘Escolas em Foco’1, um programa de incentivo ao uso dos dados educacionais por atores escolares, no desempenho e no fluxo escolar dos estudantes da rede pública municipal do Rio de Janeiro. Nesse sentido, busca trazer uma contribuição original e relevante à literatura sobre os diferentes usos de sistemas de avaliação em larga escala e, particularmente, sobre o impacto de programas de incentivo ao uso de dados nas escolas no desempenho acadêmico dos alunos. Nas últimas décadas, observamos a proliferação de reformas educacionais em diversos países que, na mesma direção do Standard-Based-Reforms (SBR) realizadas nos EUA, incluíram a ampliação da disponibilidade de dados de avaliações em larga escala e de indicadores educacionais e a adoção de metas, padrões educacionais e pressões de políticas de responsabilização (Brooke, 2013). As reformas trouxeram incentivos e pressões para o uso de dados, por atores de diferentes níveis da hierarquia educacional, para planejamento e tomada decisões, como estratégias para melhorar o desempenho dos estudantes (Kerr et al., 2006). De uma maneira geral, o uso de dados educacionais envolve todos os níveis na hierarquia educacional, desde as secretarias de educação, às instâncias intermediárias de gestão e as escolas (Custer et al., 2018). Ainda assim estudos indicam que os dados educacionais ainda são subutilizados, em especial por atores escolares. Isto é, o contexto de ampliação de dados e de pressões de políticas de accountability escolar não é suficiente para garantir um uso efetivo de dados educacionais para informar práticas pedagógicas e promover melhoria no aprendizado (Marsh et al., 2015; Schildkamp et al., 2013). Isto porque, de acordo com a bibliografia que focaliza o uso de dados pelas escolas para a tomada de decisões (data-driven decision making ou DDDM), tal uso depende do formato em que os dados são disponibilizados (Gorard et al., 2020) e de uma grande quantidade de habilidades dos atores escolares, tais com: a) habilidades para formulação de problemas, b) capacidade de coletar, analisar, sintetizar e interpretar dados e c) habilidade de tomar decisões ou de encontrar as soluções adequadas (Mandinach & Gummer, 2016; Marsh et al., 2016; Schildkamp et al., 2013). Programas de incentivo ao uso de dados, que costumam ser descritos na literatura anglo- saxônica com o termo data use ou data literacy, têm como propósito desenvolver as habilidades acima mencionadas e, consequentemente, estimular o uso efetivo de dados e indicadores educacionais para o planejamento e tomada de decisões no cotidiano das escolas por diretores, professores e demais colaboradores. A premissa por trás desses programas está baseada na perspectiva de que o uso cotidiano de dados educacionais por agentes escolares pode levar ao aumento do desempenho dos estudantes. Com base no diagnóstico da aprendizagem dos alunos, professores e gestores podem realizar ajustes e adotar práticas escolares mais eficazes, auxiliando no progresso e desenvolvimento cognitivo dos estudantes (Marsh, 2012; Schildkamp & Pootman, 2015). Os programas, podem apresentar diferentes formatos, como cursos de formação continuada e ou com a intervenção direta de um especialista externo a escola, ou de incentivo a organização de comunidades colaborativas. O foco das intervenções seria não só a promoção de habilidades e conhecimentos necessários para o uso efetivo dos dados, como também mudança de atitudes em relação aos dados e indicadores educacionais (Núñez et al., 2019b). No Brasil, a consolidação de um sistema de monitoramento da educação básica, há mais de vinte anos, proporcionou a evolução das ferramentas e metodologias empregadas para avaliar e diagnosticar a qualidade da educação. Os sistemas de avaliação se difundiram também por estados e municípios com diferentes desenhos, segmentos e séries avaliadas, além de disciplinas e periodicidade (Ceneviva, 2011; Koslinski, Carrasqueira et al., 2015a). Esse panorama permitiu a 1 Este trabalho contou com financiamento da FAPERJ – Edital Humanidades. Escolas em Foco 4 elaboração de diferentes indicadores de qualidade e, por conseguinte, a implementação de uma série de políticas educacionais que levam em consideração os resultados e indicadores provenientes das avaliações em larga escala. No entanto, o foco de tais políticas têm sido a implementação de políticas de responsabilização escolar e, menos frequentemente, políticas com foco na promoção de uso de dados ou de incentivo a data literacy e data use de atores escolares (Brooke & Cunha, 2011; Sousa & Koslinski, 2017). No município do Rio de Janeiro, no período de 2009 a 2016, foram implementadas uma série de políticas educacionais voltadas para aferir com mais precisão os resultados das escolas e induzir a melhora dos indicadores de qualidade. Em um primeiro momento, o município adotou um modelo de gestão com enfoque no planejamento, metas e com incentivos ou sanções atreladas ao desempenho das escolas da rede municipal, incluindo bonificação salarial para atores escolares (Andrade et al., 2018). Em 2015, a Secretaria Municipal de Educação, em meio ao contexto de pressões de accountability escolar, implementou o programa Escolas em Foco, que tinha o objetivo de incentivar o uso de dados pelas escolas e, consequentemente, aumentar os indicadores educacionais do município. O programa foi implementado em uma parcela das escolas, que contavam com os menores desempenhos nas avaliações em larga escala ou com altos índices de reprovação e elevada evasão escolar (Núñez, 2019a, Núñez et al., 2019b). As escolas selecionadas foram acompanhadas por um especialista externo para auxílio na interpretação e elaboração de diagnósticos e planos estratégicos de ação para elevar os indicadores (desempenho e reprovação/evasão). Como apenas um conjunto específico de escolas, selecionadas com base em critérios agnósticos e não aleatórios, participou do programa, foi possível definir um grupo de controle (que não recebeu a intervenção) e outro grupo de tratamento (que recebeu a intervenção). Dessa forma, a avaliação de impacto do programa no desempenho e no fluxo escolar entre os dois grupos foi realizada a partir de um modelo quase-experimental de pesquisa denominado método de diferenças em diferenças (DiD). A justificativa para estudar o impacto e a eficácia do uso sistemático dos dados e dos programas de incentivo ao uso de dados no desempenho acadêmico e/ou no fluxo das estudantes está duplamente alicerçada. Se no Brasil, bem como na literatura internacional, observamos a proliferação de estudos que buscaram estimar o impacto de políticas de responsabilização escolar/bonificação de atores escolares sobre o desempenho das escolas, ainda há escassez de trabalhos que focalizam o impacto de programas de incentivo ao data use ou data literacy. Em segundo lugar, houve no Brasil nos últimos vinte e cinco anos a consolidação de sistemas de avaliação educacional de larga escala, contudo ainda pouco se sabe sobre o uso formativo dos dados produzidos pelas avaliações nas escolas e redes públicas de ensino. Nesse sentido, a tentativa de entender os possíveis mecanismos causais que vinculam o uso dos dados e o aumento do desempenho dos estudantes tem justificativas teórico e metodológica, bem como política. Isto porque pode gerar evidências capazes de auxiliar a tomada de decisões de implementadores de políticas educacionais e gestores no que diz respeito a escolha e alocação de recursos em programas mais eficazes. Além desta introdução, este trabalho também conta com uma revisão bibliográfica sobre o uso de dados educacionais; uma seção que detalha as características do programa Escolas em Foco; uma seção metodológica que descreve com detalhes os dados empregados e as estratégias de análise empírica utilizadas para estimar o efeito do programa no desempenho acadêmico de matemática, língua portuguesa e no fluxo das escolas; uma seção que discute os resultados da análises; e, a título de conclusão, uma seção que faz algumas considerações finais que tentam estabelecer hipóteses para explicar os resultados encontrados. Programas de Incentivo ao Uso de Dados (Data Use) A concepção de que as decisões devem ser tomadas com base nos dados educacionais (DDDM) não é um conceito recente no campo educacional. No entanto, ele se torna mais Arquivos Analíticos de Políticas Educativas Vol. 30, No. 110 5 robusto após a disseminação, no contexto norte americano, das chamadas Standards-based Reforms (SBR). Essas reformas ganharam destaque principalmente após a implementação da política No Child Left Behind (NCLB), em 2002. Mesmo sem uma definição consensual sobre as SBRs, grande parte do debate sobre tais reformas inclui as seguintes características: expectativas acadêmicas sobre os estudantes, ou seja, o que os alunos devem saber e o que devem ser capazes de fazer; alinhamento dos elementos-chave do sistema educacional para atender às expectativas; utilização de avalições de desempenho dos estudantes para monitorar a aprendizagem; descentralização de responsabilidades para decisões relacionadas ao currículo e formação nas escolas; suporte e assistência técnica para melhorar serviços educacionais; e medidas de accountability para premiar ou sancionar escolas ou estudantes com base em medidas de desempenho (Hamilton et al., 2008). Os programas de incentivo ao uso de dados possuem relação estreita com as políticas de responsabilização escolar, aperfeiçoadas a partir do avanço dos sistemas de monitoramento e avaliação em larga escala. Em sistemas educacionais que contam com políticas de responsabilização, o uso dos dados educacionais, oriundos desses sistemas de informação, se tornou um elemento chave na elaboração de diagnósticos e aumento do desempenho dos estudantes (Kerr et al., 2006). A premissa por trás de programas de incentivo ao uso de dados está baseada na perspectiva de que o uso de dados educacionais por agentes escolares pode alavancar a aprendizagem dos estudantes, ao permitir um diagnóstico mais detalhado sobre sua aprendizagem, permitindo que professores e gestores realizem um planejamento pedagógico com foco no ajuste de suas práticas escolares e alocação de recursos materiais e humanos (Schildkamp & Poortman, 2015). No entanto, a crescente disponibilidades de dados e as pressões de políticas de responsabilização não parecem ter sido suficientes para promover o uso efetivo de dados educacionais e, consequentemente, aumento do desempenho acadêmico. Revisões sistemáticas e meta-análises de estudos sobre os efeitos de políticas de responsabilização escolar não observaram impactos significativos e/ou duradouros sobre o desempenho das escolas, em especial no contexto norte-americano e no Reino Unido (Hout & Elliot, 2011). As pressões de responsabilização não parecem ser suficientes para promover mudanças nas atitudes, crenças, conhecimento e habilidades e práticas dos professores e/ou diretores. De outro lado, alguns estudos observaram consequências não esperadas dessas políticas, como a adoção de práticas de “gaming” ou de trapacear o sistema, ensinar/treinar para o teste ou foco nas “crianças bolhas” (com pontuações próximas da média) (Diamond & Spillane, 2004; Heilig & Darling-Hammond, 2008). Nos EUA, estes efeitos não intencionados foram observados mesmo em contextos nos quais as políticas de responsabilização escolar de alta consequência foram acompanhadas por intervenções para promover data literacy (Marsh, 2012). A questão sobre uso dos dados está fundamentada em estudos que sinalizam que o desconhecimento dos dados e de quais práticas adotar levam a tomadas de decisão, geralmente baseadas na intuição, experiência e observações limitadas dos professores (Ingram et al., 2004; Rosistolato et al., 2014). A literatura do DDDM discute as condições que seriam mais propícias para a tomada de decisões baseadas em evidências e, grosso modo, argumenta que o uso eficaz de dados requer diversas habilidades, conhecimento e disposição dos professores, tais como: a) habilidades para a formulação de problemas; b) capacidade de coletar, analisar, sintetizar e interpretar dados, c) capacidade de agir e encontrar uma solução adequada (Mandinach & Gummer, 2015; Marsh et al., 2015; Schildkamp et al., 2013). O primeiro conjunto de habilidades inclui a capacidade de identificar um problema e definir uma meta. O segundo conjunto inclui não apenas habilidades para ler e interpretar tabelas e gráficos, mas também para compreender e reconhecer os critérios de qualidade de dados e para chegar a conclusões corretas (Carlson, 2011; Schildkamp et al., 2013). Finalmente, o último conjunto de habilidades requer pedagogical literacy ou alfabetização pedagógica, ou seja, capacidade de escolher boas práticas e recursos adequados para resolver os problemas que foram identificados após a análise de dados (Marsh et al., 2015; Schildkamp et al., 2013; Schildkamp & Poortman, 2015). Alguns exemplos destas práticas Escolas em Foco 6 incluem tomada de decisões relacionadas à mudança curricular, realocação de recursos, direcionamento de alunos que precisam de assistência, determinação de necessidades de aprendizagem, ritmo de aulas, entre outras (Marsh et al., 2015; Schildkamp et al., 2013). Estudos recentes, em especial realizados nos EUA e na Holanda, têm discutido o potencial de programas e intervenções que buscam incentivar o uso de dados por comunidades escolares para planejamento e tomada de decisões. Os incentivos podem incluir desde estratégias mais passivas, como a divulgação de resultados de forma mais accessível, até estratégias mais ativas, que incluem atividades de formação continuada e de desenvolvimento profissional (Núñez et al., 2019b). Intervenções mais ativas contam, em geral, com a mediação de um coach - a partir de visitas constantes in loco de um profissional externo às escolas para auxiliar professores e gestores no uso de dados para planejamento pedagógico ou de Professional Learning Communities ou Data Teams, a partir do trabalho colaborativo entre pares, com foco no intercâmbio de práticas, e a presença de um professor líder ou facilitador (Knight, 2006; Mandinach & Gummer, 2015; Marsh, Bertrand et al., 2015; Marsh, McCombs et al., 2010; Schildkamp & Poortman, 2015). No que diz respeito ao impacto de tais programas e intervenções, algumas revisões da literatura identificaram que mesmo em contextos com um grande incentivo para o uso de dados, os professores careciam de habilidades de alfabetização pedagógica e tinham dificuldades para tomar decisões instrucionais (Marsh, 2012). Além disso, Marsh (2012) aponta que a maioria das conclusões da pesquisa sobre o impacto de intervenções de data literacy tem como base autorrelatos dos usuários de dados, e poucas estudos utilizam observação e avaliação do conhecimento dos profissionais ou do desempenho dos alunos e desenhos robustos de pesquisa que permitam fazer inferência causal. Somente recentemente, estudos com desenhos de pesquisa mais robustos (que incluem um pré-teste, pós-teste, pareamento e/ou experimentos randomizados), observaram impactos de intervenções para a alfabetização em dados e/ou de data use. Alguns estudos observaram impacto positivo de intervenções nas habilidades relacionadas à alfabetização de dados (capacidade de coletar, analisar e interpretar dados), nas atitudes em relação aos dados e/ou na capacidade das equipes de resolver problemas relacionados ao desempenho do alunos (Ebbeler et al., 2017; Kippers et al., 2018; Poortman & Schildkamp, 2016) No entanto, os estudos identificaram que os professores, foco das intervenções, ainda apresentavam dificuldades para definir um propósito/formular uma pergunta. Outros estudos observaram o impacto geral da formação profissional e intervenções de uso de dados no desempenho dos alunos e/ou efeitos em grupos específicos (alunos com baixo desempenho, alto/baixo nível socioeconômico) (Poortamn & Schildkamp, 2016; Staman et al., 2017; Visscher, 2020; Waymar et al., 2017). Vale ressaltar que a maior parte das intervenções envolviam longos períodos de desenvolvimento profissional/formação continuada dos professores no local de trabalho. Ainda assim, os estudos de impacto reconhecem que há restrições na capacidade das intevenções de modificar o conhecimento, as habilidades e a atitude dos professores e defendem que essas habilidades também deveriamm ser foco da formação inicial de professores (Schildkamp et al., 2017). No Brasil, a consolidação do sistema de avaliação nacional proporcionou a ampliação e aperfeiçoamento das ferramentas e metodologias empregadas para avaliar e diagnosticar a qualidade da educação. Com a finalidade de ampliar a quantidade de informação disponível sobre o sistema educacional, inúmeros estados e municípios também adotaram seus próprios sistemas de avaliação. Muitos desses sistemas de avaliação possuem características e desenhos distintos ao da Prova Brasil, com foco em outras séries do ensino fundamental e médio, disciplinas e periodicidade de aplicação (Koslinski, Carrasqueira et al., 2015a). Se os usos para bonificação de professores e escolas foram amplamente disseminados, mesmo sem evidências robustas do impacto sobre o desempenho dos estudantes e demais indicadores escolares, o mesmo não ocorre com a disseminação de iniciativas voltadas para o incentivo do uso de dados (Brooke & Cunha, 2011; Souza & Koslinski, 2017). Arquivos Analíticos de Políticas Educativas Vol. 30, No. 110 7 Existe em ação no país algumas ações difusas que visam auxiliar as escolas na interpretação de seus dados/resultados educacionais, oriundas tanto de ações governamentais, como não governamentais. Tais iniciativas incluem estratégias mais passivas de divulgação de resultados das avaliações externas em formatos que facilitem a leitura e, consequentemente, a intepretação e uso por atores escolares, até estratégias mais ativas que incluem workshops e formação de professores para o uso de dados. Como exemplo de estratégias mais passivas citamos o boletim pedagógico da Prova Brasil e a plataforma ‘Devolutivas Pedagógicas’2 do INEP3, ferramentas que fornecem informações mais detalhadas às escolas como, por exemplo, o DESESQ4. Estratégias mais ativas incluem o Programa de Intervenção Pedagógica (PIP) e a Gestão Integrada da Escola (GIDE5) implementados pelas Secretarias Estaduais de Educação de Minas Gerais e do Rio de Janeiro, respectivamente. Em ambos os casos, as iniciativas contaram com a mediação de agentes externos às escolas, a partir de visitas de agentes da secretaria ou equipes pedagógicas que tinham como objetivo auxiliar professores e/ou gestores na compreensão e/ou uso de dados dos sistemas de informação e de avaliação das respectivas Secretarias Estaduais de Educação (Bengio, 2015; Brooke & Cunha, 2011). Tanto os agentes das Coordenadorias Gerais de Educação (CREs), instâncias intermediárias da gestão da Secretaria de Educação, quanto os diretores das escolas mostravam o desconhecimento de inúmeros aspectos técnicos das avaliações e dos indicadores educacionais e uma apropriação superficial dos dados. Consequentemente, os estudos observaram, em geral, um uso limitado e instrumental dos dados, com interesse de elevar artificialmente os indicadores de qualidade (Cerdeira, 2015; Cerdeira et al., 2017; Rosistolato et al., 2014). O Programa Escolas em Foco A partir do ano de 2009, foram implementadas uma série de políticas educacionais voltadas para aferir com mais precisão os resultados das escolas e induzir progresso nos indicadores educacionais. A Secretaria Municipal de Educação (SME) adotou um modelo de gestão com enfoque no planejamento e metas claras6 e introduziu diversos incentivos para que as escolas alcançassem as metas e maior eficiência. Para tanto, adotou um sistema de avaliação próprio de desempenho dos estudantes (Prova Rio) e dispositivos de responsabilização aos agentes escolares. Seguindo um modelo similar ao Índice de Desenvolvimento da Educação Básica (Ideb), a SME elaborou o Índice de Desenvolvimento da Educação do Município do Rio de Janeiro (IDE-Rio), que conjugava os resultados dos alunos na avaliação externa local (Prova Rio) e o fluxo escolar. . Esse indicador foi utilizado para o estabelecimento de metas para as escolas, uma vez que, o Ideb)foi utilizado como base nos anos ímpares. Outro dispositivo da política de responsabilização foi o Prêmio Anual de Desempenho (PAD), programa que premiava, em forma de um 14o salário, todos os funcionários das escolas que alcançam as metas de desempenho. Essas metas eram estabelecidas anualmente para as escolas a partir de medidas baseadas em taxas de aumento do desempenho com base nas avaliações de períodos anteriores. Dessa forma, escolas que apresentassem menores 2 Fonte: http://devolutivas.inep.gov.br, acesso em nov. 2016. 3 A plataforma tem como objetivos centrais promover a melhoria do desempenho dos estudantes da educação básica, tornar explícito para gestores e professores das redes de ensino quais conhecimentos e habilidades são verificados pelo SAEB, viabilizar a apropriação pelos professores e equipe gestora dos resultados das avaliações em larga escala e colaborar com professores nas suas atividades de ensino. 4 Fonte: http://sdm2.rio.rj.gov.br/je-desesc/login.seam, acesso em nov. 2016. 5 Fonte: http://www.rj.gov.br/web/seeduc/exibeconteudo?article-id=451562, acesso em nov. 2016. 6 Grande parte dos programas e políticas educacionais está intimamente ligado ao período de gestão de Eduardo Paes como prefeito do Rio de Janeiro (2009-2016) e de Cláudia Costin como secretária de educação (2009-2014). Com a eleição de Marcelo Crivella (2017-2020), grande parte das políticas e programas educacionais foram revogados gradativamente. http://devolutivas.inep.gov.br/ http://sdm2.rio.rj.gov.br/je-desesc/login.seam http://www.rj.gov.br/web/seeduc/exibeconteudo?article-id=451562 Escolas em Foco 8 desempenhos tinham metas mais audaciosas, se comparadas com escolas que possuíssem indicadores de partida mais altos (Koslinski, Cunha et al., 2014). No ano posterior, o sistema de responsabilização escolar com estabelecimento de metas foi estendido para a gestão central (SME) e instâncias intermediárias de gestão (Coordenadorias Regionais de Educação – CREs). Outra política implementada na SME foi o Projeto Fênix, destinada às escolas com os menores desempenhos da rede de ensino. As escolas inseridas nesse programa recebiam prioridade na alocação de recursos, funcionários e projetos da rede de ensino (Lopes et al., 2015b). Apesar da grande quantidade de informações sobre a rede de ensino, ainda não havia um programa específico de incentivo ao uso desses dados. Portanto, em 2015, o município implementou o programa ‘Escolas em Foco’7, voltado para cerca de 400 unidades educacionais que ofereciam 3º e 5º anos do ensino fundamental com os menores desempenhos ou altos índices de reprovação/evasão escolar (NÚÑEZ, 2019). O desenho do programa se aproximava de uma intervenção para promoção de data use com mediação de um coach. As escolas inseridas no programa recebiam visitas frequentes de agentes selecionados e treinados pela SME (Professores de Acompanhamento Escolar - PAEs) que auxiliavam diretores e professores na interpretação e elaboração de diagnósticos e ‘planos de ação estratégica’, que levassem ao aumento da aprendizagem dos estudantes, redução da evasão escolar e da taxa de reprovação em suas unidades escolares. As funções dos PAEs incluíam:: acompanhar as escolas com visitas in loco; articular, junto ao Diretor da Unidade Escolar, as ações de acompanhamento/mediação pedagógico das turmas; realizar análise e diagnóstico do cenário escolar com vista a traçar objetivos e estratégias para a melhoria do desempenho, redução do abandono escolar e da reprovação, em parceria com o Coordenador Pedagógico e o Diretor; levantar e estudar dados das escolas acompanhadas e gerar informações semanais para definição dos protocolos objetivando o desenvolvimento das ações de ensino; zelar pela organização e arquivamento dos documentos e termos de acompanhamento; promover, junto ao professor- supervisor, encaminhamentos necessários para solucionar demandas pedagógicas; participar das ações de formação continuada, ser proativo e ter conhecimento e domínio das regulamentações, avaliações, indicadores, metas das escolas e do nível central, por meio dos sistemas e ferramentas disponíveis para dar suporte a sua ação8. Dados e Métodos Esta seção descreve as características descritivas da amostra, bem como os atributos metodológicos adotados para análise do impacto do programa sobre os desempenhos de matemática, língua portuguesa e fluxo escolar. O processo de análise do impacto do programa foi realizado em duas partes. A primeira, não contou com qualquer pré-processamento dos dados, portanto, todas as escolas do município do Rio de Janeiro que contavam com turmas de terceiro ano do ensino fundamental foram analisadas ao longo dos quatro anos de análise (2013 a 2016). O modelo quase-experimental de diferenças em diferenças permite dividir nossa amostra em quatro grupos distintos, o grupo de controle antes e depois da intervenção e o grupo de tratamento antes e depois da intervenção. O pressuposto é que o grupo de controle não tenha sofrido qualquer impacto do programa, portanto, mudanças significativas nas variáveis de desfecho (desempenho e fluxo escolar) estariam associadas a outras características, que podem também influenciar o grupo de tratamento. 7 Não tivemos acesso a informações detalhadas com características, objetivos, desenho do programa, metodologia e protocolo de atuação dos PAEs com as escolas. As informações inseridas nesse trabalho foram obtidas a partir do D.O. do Rio de Janeiro: Nº 205, Ano XXVIII. Acesso em nov. 2016. 8 Publicado no D.O. do Rio de Janeiro: Nº 205, Ano XXVIII, Quinta-feira, 15 de janeiro de 2015 na pág. 42 e Nº 199, Ano XXIX, Quinta-feira, 07 de janeiro de 2016, pág. 91. Acesso em nov. 2016. http://doweb.rio.rj.gov.br/visualizar_pdf.php?reload=ok&edi_id=00002652&page=42&search=paulofrei re. Arquivos Analíticos de Políticas Educativas Vol. 30, No. 110 9 Apesar desse modelo não permitir estabelecer uma relação de causalidade, ele possibilita examinar o impacto exógeno do programa sobre o grupo de tratamento. Todavia, por se tratar de uma base com dados agrupados no nível da escola, não é possível explorar a variação de desempenho dentro dos grupos de controle e tratamento. Por sabermos que a escolha das escolas não foi feita de maneira aleatória, ou seja, que houve um critério de seleção que definiu as escolas que participariam do programa daquelas que não participariam, adotamos, na segunda parte de análise do impacto do programa, uma estratégia preliminar de análise dos dados. Empregamos a técnica de pareamento9 (propensity score matching), com reposição de casos, para encontrar para cada escola do nosso grupo de tratamento, uma outra escola da rede municipal com as mesmas características. Após o processo de pareamento, o modelo de diferenças em diferenças foi novamente ajustado para comparar os grupos de controle e tratamento. A tabela 1 apresenta o número de escolas que contavam com turmas de 3º ano do ensino fundamental ao longo dos quatro anos analisados. Os números indicam redução na quantidade de escolas com essas turmas ao longo dos anos em ambos os grupos. É sabido que a rede municipal de ensino do Rio de Janeiro não possui uma característica homogênea de oferta do ensino fundamental, ou seja, algumas escolas oferecem turmas de 1º ao 3º ano, enquanto outras ofertam toda a primeira etapa do ensino fundamental. Portanto, a redução no número de escolas, mas não necessariamente no número de turmas, pode sugerir alguma reestruturação em curso na rede municipal de ensino. Tabela 1 Número de Escolas com Oferta do 3º Ano do Ensino Fundamental ao Longo dos Quatro Anos Analisados Ano 2013 2014 2015 2016 Escolas Foco 384 376 374 373 Escolas Não Foco 343 328 309 301 Nota: Elaboração dos autores. Primeira Estratégia de Análise Empírica: Sem Pré-processamento de Dados Como a primeira estratégia de análise não contou com qualquer pré-processamento dos dados, o modelo de diferenças em diferenças foi ajustado com uma série de variáveis contextuais observáveis inseridas nos modelos. Foram estimados os impactos do programa sobre as variáveis de desempenho em matemática, língua portuguesa e fluxo escolar para o ano de 2016. A tabela A1, inserida no anexo estatístico10, apresenta as variáveis utilizadas nos modelos, incluindo tipo, descrição e origem. As variáveis explicativas correspondem às características das escolas da amostra, além de uma variável que especifica àquelas que receberam/não receberam a intervenção, uma associada ao tempo, que indica o período anterior e posterior à implementação da política e um termo interativo que assinala as diferenças das diferenças, ou seja, a diferença da diferença entre os grupos no período antes e depois da implementação do programa. Em consonância com a bibliografia, esta análise parte do pressuposto de que as variáveis explicativas podem impactar as variáveis dependentes, justificando sua inserção neste estudo. Elas também são utilizadas como controles para verificarmos a magnitude da relação entre a intervenção e o fluxo escolar e o desempenho de matemática e língua portuguesa. 9 As análises foram realizadas no software R e o pacote empregado no pareamento dos casos foi o ‘matching’. 10 Optamos por exibir as tabelas A1 e A2 deste trabalho no anexo estatístico em função de seus respectivos tamanhos. Escolas em Foco 10 Figura 1 Comparação dos Grupos Ano a Ano * Elaboração própria. A análise dos gráficos na figura 1 indica que, apesar dos desempenhos de matemática e língua portuguesa aumentarem ao longo dos anos, as diferenças entre os grupos de controle e tratamento, nas três variáveis de interesse, permaneceu constante na linha histórica observada. Essa estratégia busca acompanhar, a partir de inspeção visual, o comportamento das retas das escolas de controle e tratamento no período anterior à implementação do programa em 2015. Os resultados sugerem que, houve impacto muito pequeno sobre os indicadores de qualidade analisados. A tabela A2, no anexo estatístico, exibe as estatísticas descritivas das variáveis inseridas nos modelos e um teste de diferença de médias entre os grupos. É possível perceber que as escolas de ambos os grupos são distintas em quase todas as variáveis, mas principalmente nas de interesse, desempenho e fluxo. Essas diferenças podem ser observadas também nas características demográficas das escolas como complexidade da gestão11, máxima educação dos pais12, indicador de pobreza13 e porcentagem de alunos não brancos. Essas diferenças indicam que houve, de fato, viés de seleção das escolas que receberam o programa Escolas em Foco. Isso significa que, apesar do foco do programa ser em escolas de menores desempenhos ou fluxo escolares, elas também possuem um perfil de composição do alunado distinto e estrutura escolar mais complexa para os diretores. Apesar dessa análise preliminar sugerir efeito muito tênue do programa, ajustamos modelos de regressão linear com as variáveis dependentes de proficiência em matemática, língua 11 O Inep disponibiliza inúmeros indicadores educacionais calculados com base nos dados do Censo Escolar. Um deles é o de Complexidade da Gestão, que busca distinguir, a partir de uma variável com seis categorias, escolas com gestão mais complexas e menos complexas. Na construção do indicador são levadas em conta o número de alunos matriculados na escola, número de etapas, a complexidade da etapa e o número de turno de funcionamento. Para facilitar a interpretação nos modelos, essa variável foi transformada em uma dicotômica, de forma que escolas com complexidade até o nível 3 receberam o valor 0 e escolas com complexidade do nível 4 ao 6 receberam o valor 1. 12 Com base na declaração de grau de escolaridade indicada pelos pais dos estudantes, nós construímos o indicador de máxima educação por escola como a porcentagem de, pelo menos, um dos pais possuir ensino médio completo ou outro grau educacional superior. 13 Essa variável indica a porcentagem de alunos por escola que estava inserida em programas de transferência de renda, como o Bolsa Família e Cartão Família Carioca. Arquivos Analíticos de Políticas Educativas Vol. 30, No. 110 11 portuguesa e fluxo, controladas (variáveis explicativas) apenas pelo ano e uma dummy que indicava se a escola participou do programa ou não. Tabela 2 Comparação Ano a Ano dos Grupos de Controle e Tratamento Matemática L. Portuguesa Fluxo Ano 2014 9.703*** 23.740*** -1.197 (1.451) (1.211) (1.048) Ano 2015 31.580*** 27.573*** 1.983* (1.474) (1.230) (1.073) Ano 2016 61.120*** 42.610*** -4.966*** (1.484) (1.239) (1.047) Foco -10.576*** -9.659*** -6.916*** (1.396) (1.165) (1.009) Ano 2014 * Foco -1341 -0.530 0.204 (1.991) (1.662) (1.438) Ano 2015 * Foco -0.760 -1556 0.910 (2.009) (1.677) (1.458) Ano 2016 * Foco -1516 -1136 6.309*** (2.017) (1.684) (1.434) Constante 164.544*** 158.232*** 84.660*** (1.015) (0.847) (0.733) Observações 2,788 2,788 2,811 R2 0.616 0.508 0.053 R2ajustado 0.615 0.506 0.051 Residual Std. Error 18.793 (df = 2780) 15.684 (df = 2780) 13.555 (df = 2803) F Statistic 637.825 (df = 7; 2780) 409.398 (df = 7; 2780) 22.462 (df = 7; 2803) Nota: Elaboração dos autores. *p<0.1; **p<0.05; ***p<0.01 A primeira coluna da tabela 2 corresponde aos resultados de proficiência em matemática. Os resultados indicam que as escolas que não receberam a intervenção apresentaram um crescimento na proficiência significativo em relação à categoria de referência, neste caso, a proficiência em 2013. Já para as escolas que receberam a intervenção (Ano * Foco14), os resultados indicam que a diferença de desempenho entre grupos de controle e tratamento diminui, mas com efeito pequeno e não estatisticamente significativo. No indicador ‘Ano 2016 * Foco’, ano posterior à implementação do programa, a diferença entre as escolas do grupo de tratamento e controle diminui. Já a variável ‘Foco’ indica o efeito médio sobre a proficiência de matemática ao longo dos quatro anos de análise para as escolas que receberam a intervenção. A segunda coluna corresponde aos efeitos comparativos dos grupos de tratamento e controle sobre a proficiência de língua portuguesa de 2013 a 2016. De maneira similar à primeira coluna, as escolas que não participaram do programa aumentaram significativamente seus desempenhos ao longo dos três anos seguintes. A variável Foco sugere efeito negativo médio sobre as escolas em foco durante os quatro anos. A terceira coluna equivale aos resultados sobre 14 Essa variável foi construída a partir de uma interação multiplicativa entre a variável que indica o ano e a variável dummy que corresponde às escolas selecionadas para o programa. Escolas em Foco 12 o fluxo das escolas. Os efeitos são distintos àqueles associados à proficiência, pois, para as escolas que não receberam a intervenção parece não haver um padrão ao longo dos anos, com acréscimos e decréscimos. Já para escolas que receberam a intervenção, as taxas de fluxo são crescentes, em relação ao ano de 2013, ainda que somente o ano de 2016 seja estatisticamente significativo. A variável Foco apresenta efeito na mesma direção da proficiência em matemática e língua portuguesa. As escolas do grupo de tratamento enfrentam dois problemas distintos, baixo aprendizado dos estudantes e menor fluxo escolar. Por outro lado, é possível que o fluxo escolar seja uma ação mais facilmente modificada pela escola, se comparado aos incrementos nos desempenhos de matemática e língua portuguesa. Essa investigação exploratória tem a intenção de comparar os desempenhos e fluxo dos grupos de escolas (tratamento e controle) ao longo dos anos, antes e depois da implementação do programa. Por outro lado, tais análises ainda não contam com quaisquer variáveis de características endógenas das escolas, o que pode levar a diferenças nos resultados encontrados. As análises com tais controles são apresentadas na próxima tabela. Tabela 3 Modelos de Regressão (diferenças em diferenças) Matemática L. Portuguesa Fluxo Pré/Pós 40.940*** 22.979*** -1.117 (1.167) (0.985) (0.727) Foco -6.208*** -4.834*** -3.509*** (1.156) (0.976) (0.725) DiD -0.0003 -0.839 3.764*** (1.581) (1.335) (0.987) Cor -0.241*** -0.287*** -0.016 (0.053) (0.044) (0.023) Sexo -0.570*** -0.476*** -0.412*** (0.128) (0.108) (0.080) Máxima Educação 0.300*** 0.288*** 0.225** (0.030) (0.026) (0.019) Indicador de Pobreza -0.081** -0.094*** -0.016 (0.033) (0.028) (0.020) Complexidade Escolar -3.847*** -2.796*** -4.353*** (0.918) (0.775) (0.570) Constante 200.996*** 200.245*** 95.941*** (7.416) (6.261) (4.636) Observações 2,76 2,76 2,785 R2 0.536 0.391 0.126 R2 ajustado 0.535 0.389 0.124 Residual Std. Error 20.676 (df = 2751) 17.454 (df = 2751) 12.976 (df = 2776) F Statistic 397.499 (df = 8; 2751) 220.525 (df = 8; 2751) 50.248 (df = 8; 2776) Nota: Elaboração dos autores. *p<0.1; **p<0.05; ***p<0.01 Arquivos Analíticos de Políticas Educativas Vol. 30, No. 110 13 O passo seguinte dessa análise contou com um modelo de diferenças em diferenças para investigar o efeito do programa sobre as escolas participantes em comparação com as escolas que não participaram. Além disso, os modelos incluíram também as variáveis demográficas das escolas, como a proporção de alunos negros por escola, de alunos do sexo masculino, de alunos com pais com alta escolaridade, de estudantes inseridos em programas de transferência de renda e uma dummy que diferencia escolas com gestões mais complexas das menos complexas. A primeira coluna corresponde aos resultados das análises sobre a variável dependente de proficiência em matemática. A primeira variável (Pré Pós) se refere a uma dummy que indica a diferença do efeito nos anos de 2015 e 2016 em comparação com os anos de 2013 e 2014. Ela revela que as escolas de ambos os grupos (tratamento e controle) cresceram em média 40 pontos na proficiência de matemática em relação aos anos de 2013 e 2014. As variáveis que indicam cor e sexo apontam que quanto maior for a proporção de alunos negros e de sexo masculino por escola, menor o seu respectivo desempenho. Como esperado, as variáveis de indicador de pobreza e complexidade da gestão exibem efeitos significativos na mesma direção que as variáveis anteriores. Escolas com maior proporção de alunos com pais mais escolarizados, ou seja, com ensino médio completo e/ou ensino superior tendem a apresentar proficiências médias mais elevadas. O estimador que indica as diferenças das diferenças (DiD), foco dessa análise, sugere que as diferenças entre as escolas do grupo de controle e tratamento, controladas pelas demais variáveis inseridas no modelo, diminuíram após a implementação do programa, mas os resultados mostram que o impacto é de baixa magnitude e não significativo. A segunda coluna apresenta os efeitos das variáveis sobre a proficiência de língua portuguesa. Como esperado, os resultados das variáveis contextuais são análogos, sobre os efeitos e significância estatística, aos verificados sobre a proficiência de matemática. A mesma característica é verificada sobre o estimador de diferenças em diferenças nesta coluna, ou seja, com redução da desigualdade de proficiência em língua portuguesa, mas com pouca relevância e significância. Já a terceira coluna, que se refere as taxas de fluxo das escolas, não seguem o mesmo padrão das colunas anteriores. Por exemplo, a variável Pré Pós indica que a taxa de fluxo média das escolas nos de 2015 e 2016 é inferior na comparação com os anos anteriores, apesar da não significância estatística. As variáveis contextuais exibiram efeitos similares aos verificados para as proficiências de matemática e língua portuguesa e seguiram os resultados já documentados na literatura. No entanto, nosso estimador de interesse (DiD) aponta que as diferenças nas taxas de fluxos das escolas de tratamento e controle aumentaram após o início da intervenção. Em suma, essa primeira estratégia de análise aponta que, apesar das diferenças no desempenho de matemática e língua portuguesa diminuírem entre os dois grupos de escolas, elas foram de pequena magnitude e pouco significantes do ponto de vista estatístico. Por outro lado, a diferença no fluxo escolar entre os grupos aumentou. É possível inferir, a partir dos resultados acima, que o programa de incentivo ao uso de dados apresentou efeitos modestos ou pouco substantivos nos dois primeiros anos de análise sobre as variáveis de desempenho em matemática, língua portuguesa e sobre o fluxo escolar. Segunda Estratégia de Análise Empírica: Com Pré-processamento de Dados Com a finalidade de aumentar o poder de inferência causal das análises, uma vez que os grupos de tratamento e controle possuem uma série de características observáveis distintas, realizamos o pré-processamento dos dados a partir do pareamento das escolas de ambos os grupos15. Além disso, essas análises também permitem um teste de robustez às investigações realizadas na seção anterior. 15 As variáveis utilizadas no modelo para a realização do pareamento estão na tabela A3 do anexo estatístico. Escolas em Foco 14 A técnica de pareamento via escore de propensão utilizou o modelo logístico para estimar a probabilidade de uma escola do grupo de controle ser uma escola inserida no programa16. Como o objetivo é acompanhar as escolas ao longo dos quatro anos de análise, a técnica de pareamento utilizou os dados das escolas no ano de 2013, dois anos antes da implementação do programa. No entanto, para realizar o pareamento não é possível que qualquer caso da amostra (escolas) apresente algum valor faltante (missing value). Portanto, foram retirados todos os casos que não possuíam informação completa nas variáveis utilizadas durante esse processo17. Para verificar a hipótese de viés na exclusão de casos com dados faltantes, foram calculadas as médias e os desvios-padrão desses casos, permitindo a comparação desse grupo com a amostra anterior18. Para verificar a qualidade do pareamento, calculamos as médias das variáveis inseridas no modelo antes e depois do pré-processamento dos dados. Além disso, também foram ajustados gráficos para matemática, língua portuguesa e fluxo escolar comparando os grupos de controle e tratamento antes e depois do pareamento19. Com base nos resultados, que indicam boa qualidade do pareamento20, novamente ajustamos o modelo de diferenças em diferenças comparando esses grupos antes e depois da implementação do programa. Os resultados da tabela 4 comparam o desempenho das escolas dos grupos de tratamento e controle nas três variáveis de interesse do nosso estudo. A primeira coluna indica o desempenho de matemática estabelecendo como categoria de referência o desempenho na disciplina em 2013. Como os resultados sugerem, as escolas do grupo de controle apresentaram crescimentos em todos os anos subsequentes. Já para as escolas do grupo de tratamento (Ano * Foco) os efeitos para cada ano de análise são baixos do ponto de vista educacional e não significativos do ponto de vista estatístico. O panorama é bem similar quando analisamos os resultados para língua portuguesa, pois as escolas do grupo de controle apresentaram resultados crescentes e significativos ao longo dos anos, enquanto as escolas do grupo de tratamento exibiram efeitos mais modestos. Para a variável de fluxo escolar os resultados encontrados também são bastante semelhantes aos anteriores, aumentando a cada ano. Como as escolas de ambos os grupos já apresentam valores altos de fluxo escolar, torna-se menos provável um crescimento grande nessa variável. Vale ressaltar, contudo, que as escolas do grupo de tratamento partiram de um patamar de desempenho acadêmico mais baixo, tanto em português como em matemática, portanto, esse resultado já era esperado. Mais importante, como indicam os resultados, após a implementação do programa, a diferença de desempenho acadêmico entre as escolas que receberam o tratamento (isto é, que se submeteram a programa de uso de dados) e as escolas não incluídas no programa foi diminuindo de magnitude ano a ano. Esse resultado indica que os alunos das escolas do grupo de tratamento tiveram um melhor rendimento escolar, tanto em português como em matemática, se comparados a seus pares das escolas que ficaram de fora do programa Escolas em Foco. 16 Para aumentar o número de escolas pareadas, optamos pelo modelo com reposição dos casos, ou seja, qualquer escola do grupo de tratamento poderia ser pareada com mais de uma escola do grupo de tratamento. Após esse processo, retiramos os casos duplicados de ambos os grupos. Por exemplo, se a escola X do grupo de tratamento foi pareada com a escola W do grupo de controle e, se a mesma escola X do grupo de tratamento foi pareada novamente com a escola Z do grupo de controle, ela (escola X) apareceu na nossa nova amostra somente uma vez. Esse procedimento foi empregado tanto no grupo de controle como o grupo de tratamento. 17 O total de casos excluídos dessa análise por falta de informação em uma das variáveis empregadas no modelo foi igual a 54. 18 As características das escolas que foram excluídas da análise durante o pré-processamento dos dados parecem distintas àquelas com informações completas nas variáveis analisadas. Portanto, como essas escolas não puderam ser pareadas com outras da amostra, os resultados encontrados não podem ser generalizados para esses casos. 19 A tabela e os gráficos que indicam a qualidade do pareamento estão no anexo estatístico deste trabalho. 20 Tabela A4 do anexo estatístico que compara as escolas dos grupos de controle e tratamento antes e depois do pareamento. Arquivos Analíticos de Políticas Educativas Vol. 30, No. 110 15 Entretanto, como esses resultados são de baixa magnitude e não apresentam significância estatística, o impacto substantivo do programa deve ser interpretado e analisado com cautela. Tabela 4 Comparação Ano a Ano dos Grupos de Controle e Tratamento Após o Pareamento Matemática L. Portuguesa Fluxo Ano 2014 11.310∗∗∗ 25.549∗∗∗ −0.127 (1.923) (1.594) (1.072) Ano 2015 32.930∗∗∗ 28.622∗∗∗ 3.416∗∗∗ (1.923) (1.594) (1.084) Ano 2016 59.803∗∗∗ 41.905∗∗∗ 3.479∗∗∗ (1.920) (1.592) (1.070) Foco -3.252∗∗ -3.370∗∗ -4.132∗∗∗ (1.631) (1.353) (0.909) Ano 2014 * Foco -2.960 -2.327 -0.956 (2.311) (1.916) (1.288) Ano 2015 * Foco -2.423 -2.795 -0.594 (2.309) (1.915) (1.298) Ano 2016 * Foco -0.472 -0.616 0.126 (2.306) (1.913) (1.286) Constante 157.465∗∗∗ 152.096∗∗∗ 81.960∗∗∗ (1.357) (1.126) (0.757) Observations 2,141 2,141 2,131 R2 0.637 0.522 0.076 Adjusted R2 0.636 0.520 0.073 Residual Std. Error 17.436 (df = 2133) 14.460 (df = 2133) 9.719 (df = 2123) F Statistic 534.422∗∗∗ (df = 7; 2133) 332.240∗∗∗ (df = 7; 2133) 25.068∗∗∗ (df = 7; 2123) Nota: Elaboração dos autores. *p<0.1; **p<0.05; ***p<0.01 A tabela 5 exibe os resultados dos modelos de diferenças em diferenças para as três variáveis de desfecho após o pareamento realizado com as escolas do grupo de controle e tratamento. A variável Pré Pós apenas compara as escolas, sem distinção em controle e tratamento, no período anterior (2013-2014) e posterior (2015-2016) à implementação do programa. O efeito indica que as escolas cresceram em matemática, língua portuguesa e fluxo. A segunda variável (Foco) considera o efeito médio das escolas que receberam a intervenção ao longo dos quatro anos, mesmo antes de o programa ser implantado. Essas escolas têm, portanto, desempenho inferior nas três variáveis analisadas, o que indica, como já destacado anteriormente, que as escolas selecionadas para receberem o programa Escolas em Foco apresentam em média, quando comparadas com as escolas do grupo de controle, pior desempenho acadêmico mesmo após o pareamento. O último estimador (DiD) sugere que para matemática a diferença entre os dois grupos aumenta após a implementação do programa, mas o efeito dessa variável é pequeno e não estatisticamente significativo. Com relação a língua portuguesa, o cenário é distinto, pois a diferença de desempenho entre os dois grupos diminui no ano de 2016, mas como para matemática, o efeito também é baixo e não significativo. Para o fluxo escolar, há aumento da Escolas em Foco 16 diferença entre tratamento e controle, mas com um estimador modesto e sem significância estatística. Tabela 5 Modelos de Regressão (diferenças em diferenças) Após o Pareamento Matemática L. Portuguesa Fluxo Pré Pós 40.770∗∗∗ 22.548∗∗∗ 3.512∗∗∗ (1.587) (1.369) (0.762) Foco −4.737∗∗∗ −4.557∗∗∗ −4.607∗∗∗ (1.349) (1.163) (0.644) DiD 0.017 −0.528 0.241 (1.907) (1.644) (0.914) Constante 163.103∗∗∗ 164.832∗∗∗ 81.897∗∗∗ (1.122) (0.968) (0.536) Observações 2,141 2,141 2,131 R2 0.504 0.294 0.075 Adjusted R2 0.503 0.293 0.074 Residual Std. Error 20.357 (df = 2137) 17.552 (df = 2137) 9.718 (df = 2127) F Statistic 724.051∗∗∗ (df = 3; 2137) 296.352∗∗∗ (df = 3; 2137) 57.333∗∗∗ (df = 3; 2127) Nota: Elaboração dos autores. *p<0.1; **p<0.05; ***p<0.01 É interessante salientar que nesta segunda parte os possíveis impactos do programa foram estimados apenas para escolas do grupo de controle e tratamento com características similares. Os resultados, portanto, corroboram àqueles já descritos e comentados na primeira parte deste trabalho, que indicam que o programa apresentou efeitos muito tênues nos desempenhos de matemática, língua portuguesa e no fluxo escolar, porém, os resultados sugerem que o rendimento escolar, tanto em português como em matemática, dos alunos das escolas que receberam o programa Escolas em Foco foram, em média, ligeiramente superiores a de seus pares das escolas do grupo de controle, pois, embora partindo de um patamar mais baixo as diferenças no desempenho escolar dos dois grupos diminui ano a ano. Considerações Finais O objetivo deste trabalho foi investigar o impacto de um programa de incentivo ao uso de dados para planejamento escolar da SME do Rio de Janeiro sobre um grupo específico de escolas, não aleatório, selecionadas com base nos desempenhos em língua portuguesa, matemática e fluxo escolar. A partir da verificação dos resultados apresentados é possível estabelecermos algumas hipóteses para o efeito tênue ou pouco substantivo do programa sobre o desempenho e fluxo das escolas que receberam a intervenção. A primeira delas, se refere a curta série histórica analisada neste trabalho. É possível que o pequeno período de análise não tenha sido suficiente para explicar parte do baixo impacto do programa. Além disso, esse programa pretendia uma mudança de comportamento dessas escolas, objetivo que talvez só possa ser alcançado com uma Arquivos Analíticos de Políticas Educativas Vol. 30, No. 110 17 intervenção/treinamento mais prolongado dos agentes escolares, como a indicado pela literatura de DDDM. Outra hipótese pode estar ligada às práticas e ações dos PAEs junto as escolas. Ainda que esses agentes tenham recebido treinamento similar pela SME, é possível que eles tenham adotado estratégias diferenciadas de acordo com o perfil das escolas e da gestão. A variação na ação desses agentes pode se dar também pela relação que estes estabeleceram com a gestão das escolas. Algumas gestões podem ter sido mais ‘receptivas’ às ações desses agentes e à implementação de novas práticas e metodologias de ensino e aprendizagem. Tal receptividade poderia significar, em última análise, ganhos de desempenho em matemática, língua portuguesa e no fluxo dos estudantes. Além disso, também não temos informação de como o programa foi, de fato, implementado e como foram interpretados e apropriado pelos atores na ponta. Outra hipótese para explicar parte dos efeitos pode estar relacionada à concomitância de programas e projetos que são implementados nas escolas. As escolas recebem, cotidianamente, inúmeros programas e projetos, oriundos de diferentes instâncias e níveis de governo, com objetivos distintos e, muitas vezes, similares e complementares. A interação de ações nas escolas dificulta a estimação dos efeitos associados a cada programa, ou seja, não é possível saber com certeza se os efeitos verificados nas análises correspondem somente ao programa Escolas em Foco. Por último, esse trabalho focou apenas no impacto sobre os indicadores de escolas com turmas de 3º ano do ensino fundamental, no entanto, esse programa, no primeiro ano de implementação, também privilegiou um grupo de escolas que contavam com turmas de 3º e 5º anos. Portanto, não sabemos se o programa apresentou algum efeito sobre o desempenho e fluxo das escolas com quinto ano. Apêndice Tabela A1 Descrição das Variáveis Utilizadas Nome Tipo Descrição Fonte Variáveis Dependentes Proficiência LP e MT Contínua Proficiência média por escola em Matemática e Língua portuguesa no 3o ano Prova Rio (2013, 2014, 2015, 2016) Fluxo Escolar Contínua Fluxo escolar do 3o ano do ensino fundamental Censo Escolar (2013, 2014, 2014, 2016) Variáveis Explicativas Escola Foco Dicotômica 0- Indica escolas que não receberam o programa; 1- Indica escolas que receberam o programa Dados SME (SCA 2014) Sexo Contínua Porcentagem de alunos de sexo masculino por escola Dados SME (SCA 2014) Escolas em Foco 18 Nome Tipo Descrição Fonte Variáveis Dependentes Complexidade da Gestão Dicotômica 0 - Indica escolas menos complexas; 1- Indica escolas mais complexas Indicadores Educacionais INEP (2014) Máxima Educação dos Pais Contínua Porcentagem de alunos cujos pais completaram o ensino médio ou mais Dados SME (SCA 2014) Indicador de Pobreza Contínua Porcentagem de alunos inseridos em programas de transferência de renda Dados SME (SCA 2014) % de Alunos Não Brancos Contínua Porcentagem de alunos não brancos por escola Dados SME (SCA 2014) Pré/Pós Dicotômica 0- Indica ano 2013 e 2014; 1- Indica ano 2015 e 2016 DiD Dicotômica Termo interativo (PRÉ/PÓS * Escola Foco) Nota: A Prova Rio é uma avaliação externa aplicada somente em escolas do município do Rio de Janeiro. Aplicada inicialmente em 2009 e com a mesma matriz de referência da Prova Brasil, a Prova Rio é uma avaliação censitária que avalia, nos anos pares, alunos do 3º, 4º, 7º, e 8º anos do ensino fundamental nas disciplinas de língua portuguesa e matemática. Mais informações sobre as características dessa avaliação podem ser encontradas em Koslinski et al., 2015. Esta análise está fazendo uso dos dados da Prova Rio, e não da Prova Brasil, porque o foco do projeto Escolas em Foco é no 3º ano do ensino fundamental, série não contemplada pela Prova Brasil e, porque esta avaliação é censitária, ou seja, todas as escolas com esta série são participantes. Os Dados da SME utilizados neste trabalho correspondem às bases de dados do Sistema de Controle Acadêmico (SCA), que são gerados anualmente com informações sobre a escola, turmas, matrícula, alunos e suas famílias e desempenho e rendimento anual dos estudantes. Essas bases são atualizadas anualmente, permitindo o acompanhamento dos estudantes ao longo dos anos. Foram empregadas as bases do SCA de 2014 porque não tivemos acesso às bases de 2013. Tabela A2 Estatísticas Descritivas das Variáveis Utilizadas Escolas Foco Escolas Não Foco Diferença (Foco x Não Foco) Nome Média DP Média DP Test-t P-Valor Proficiência MT 2013 153,9 11,9 164,5 17,4 9,415 0,000*** Proficiência MT 2014 162,3 15,7 174,2 21,6 8,262 0,000*** Proficiência MT 2015 184,7 13,5 196,1 18,8 8,874 0,000*** Proficiência MT 2016 213,5 23 225,6 26 6,310 0,000*** Proficiência LP 2013 148,5 10,5 158,2 14,5 10,166 0,000*** Proficiência LP 2014 171,7 12,5 181,9 17,5 8,720 0,000*** Proficiência LP 2015 174,5 11,7 185,8 16,5 10,020 0,000*** Proficiência LP 2016 190 19,1 200,8 21,3 6,835 0,000*** Fluxo 2013 77.7 9,6 84,6 10,1 9,338 0,000*** Fluxo 2014 76,7 10,7 83,4 9,4 8,836 0,000*** Fluxo 2015 80,6 10 86,6 7,4 8,858 0,000*** Fluxo 2016 81,4 8,17 87.1 9,31 8,399 0,000*** Sexo 2014 51,7 2,8 51,5 3,4 -0,224 0.8224 Arquivos Analíticos de Políticas Educativas Vol. 30, No. 110 19 Escolas Foco Escolas Não Foco Diferença (Foco x Não Foco) Nome Média DP Média DP Test-t P-Valor Complexidade Escolar 2014 0,37 - 0,17 - - - Máxima Educação dos Pais 2014 41,6 13 51 15,2 8,286 0,000*** Indicador de Pobreza 2014 31,8 12,2 28,3 14,2 -1,569 0.117 Porcentagem de Alunos não Brancos 2014 64,9 7,4 60,4 9,5 -7,056 0,000*** Número de escolas da análise 384 343 Nota: Elaboração dos autores. *p<0.1; **p<0.05; ***p<0.01 Tabela A3 Variáveis Utilizadas no Pareamento Variável Tipo Descrição Proficiência LP e MT Contínua Proficiência média por escola em Matemática e Língua portuguesa no 3o ano Fluxo Escolar Contínua Fluxo escolar do 3o ano do ensino fundamental Escola Foco Dicotômica 0- Indica escolas que não receberam o programa; 1- Indica escolas que receberam o programa Sexo Contínua Porcentagem de alunos de sexo masculino por escola Máxima Educação dos Pais Contínua Porcentagem de alunos cujos pais completaram o ensino médio ou mais Indicador de Pobreza Contínua Porcentagem de alunos inseridos em programas de transferência de renda % de Alunos Não Brancos Contínua Porcentagem de alunos não brancos por escola Complexidade da Gestão Dicotômica 0 - Indica escolas menos complexas; 1- Indica escolas mais complexas Nota: Elaboração dos autores. Tabela A4 Comparação das Médias Antes e Depois do Pareamento Variável Matching Antes Depois % de Alunos Não Brancos Média Tratamento 65.04 65.04 Média Controle 60.07 66.06 Sexo Média Tratamento 51.71 51.71 Média Controle 51.55 52.15 Máxima Educação dos Pais Média Tratamento 41.85 41.85 Média Controle 51.65 41.12 Indicador de Pobreza Média Tratamento 31.56 31.56 Média Controle 27.94 32.88 Complexidade da gestão Média Tratamento 0.37 0.37 file:///C:/Users/Mariane/Documents/Novo%20PC/Doutorado/2021/ARTIGO%20ESCOLAS%20EM%20FOCO/VERSAO/REVISAO_EPAA/Tabelas_Escolas_Foco.xlsx%23RANGE!_ftn1 Escolas em Foco 20 Variável Matching Antes Depois Média Controle 0.15 0.31 Proficiência LP 2013 Média Tratamento 148.73 148.73 Média Controle 159.14 147.65 Proficiência MT 2013 Média Tratamento 154.21 154.21 Média Controle 165.51 152.18 Fluxo Escolar 2013 Média Tratamento 77.82 77.82 Média Controle 85.24 78.57 Nota: Elaboração dos autores. Referências Andrade, F. M. (2019). Programa de incentivo ao uso de dados educacionais [Tese de doutorado]. Universidade Federal do Rio de Janeiro (UFRJ). https://ppge.educacao.ufrj.br/teses2019/tFelipe%20Macedo%20de%20Andrade.pdf Andrade, F. M., Koslinski, M. C., & Ceneviva, R. (2018). Fatores associados à rotatividade de diretores no município do Rio de Janeiro. Educação em Revista, 34, 1-26. https://doi.org/10.1590/0102-4698182446 Bengio, M. C. (2016). O trabalho dos agentes de acompanhamento da Gestão Escolas (AAGE’S) no cotidiano das scolas Estaduais em Duque de Caxias [Dissertação de mestrado]. Universidade Federal do Rio de Janeiro (UFRJ). https://ppge.educacao.ufrj.br/disserta%C3%A7%C3%B5es2016/dMarliesBengio.pdf Brooke, N. (2013). Controvérsias sobre políticas de alto impacto. Cadernos de Pesquisa, 43(148), 336-347. Brooke, N., & Cunha, M. A. A. (2011). A avaliação externa como instrumento de gestão educacional nos estados. Estudos & Pesquisas Educacionais. Fundação Victor Civita, 2, 3-64. Carlson, J. R., Fosmire, M., Miller, C., & Nelson, M. R. S. (2011). Determining data information literacy needs: A study of students and research faculty. Libraries and the Academy, 11(2) 629-657. Ceneviva, R. (2011). O nível de governo importa para a qualidade da política pública? O caso da educação fundamental no Brasil [Tese de Doutorado]. Universidade de São Paulo. https://doi.org/10.11606/T.8.2011.tde-25052012-094817 Cerdeira, D. (2015). Apropriações e usos de políticas de avaliação e responsabilização educacional pela gestão escolar [Tese de doutorado]. Universidade Federal do Rio de Janeiro (UFRJ). https://ppge.educacao.ufrj.br/teses2015/ddianacerdeira.pdf Cerdeira, D., Prado, A. P., Rosistolato, R. P. R., Tavares, M. O., & Costa, M. (2017). Conhecimento e uso de indicadores educacionais no município do Rio de Janeiro. Estudos em Avaliação Educacional, 28, 926-968. Custer, S., Elizabeth, K., Atinc, T., Read, L., & Sethi, T., (2018). Toward data-driven education systems: Insights into using information to measure results and manage change. Center for Universal Education at Brookings. AIDDATA. Datnow, A., & Hubbard, L. (2015). Teachers’ use of assessment data to inform instruction: Lessons from the past and prospects for the future. Teachers College Record, 117, 4. Diamond, J. B., & Spillane, J. P. (2004). High stakes accountability in urban elementary schools: Challenging or reproducing inequality? Teachers College Records, 106(6), 1145-1176. https://ppge.educacao.ufrj.br/teses2019/tFelipe%20Macedo%20de%20Andrade.pdf https://doi.org/10.1590/0102-4698182446 https://ppge.educacao.ufrj.br/disserta%C3%A7%C3%B5es2016/dMarliesBengio.pdf Arquivos Analíticos de Políticas Educativas Vol. 30, No. 110 21 Ebbler, J., Poortman, C. L., Schildkamp, K., & Pieters, J. M. (2017). The effects of a data use intervention on educators’ satisfaction and data literacy. Educational Assessment, Evaluation and Accountability, 29, 83-105. Gorard, S., See, B. H., & Sidiqqui, N. (2020). What we know already about the best ways to get evidence into use in education. In S. Gorard (Eds.). Getting evidence into education: evaluating the routes to policy and practice (pp. 110-118). Routledge. Hamilton, L., Halverson, R., Jackson, S., Mandinach, E., Supovitz, J., & Wayman, J. (2008). Using student achievement data to support instructional decision making. NCEE. Heilig, J. V., & Darling-Hammond, L. (2008). Accountability Texas-style: The progress and learning of urban minority students in a high-stakes testing context. Educational Evaluation and Policy Analysis, 30(2), 75-110. Hout, M., & Eliott, S. (2011). Incentives and test-based accountability in education. National Research Council. Ingram, D., Louis, K. S., & Shroeder, R. G. (2004). Accountability policies and teacher decision making: Barriers to the use of data to improve practice. Teachers College Record, 106. Kerr, K., Marsh, J., Schuyler Ikemoto, G., Darilek, H., & Barney, H. (2006). Strategies to promote data use for instructional improvement: Actions, outcomes, and lessons from three urban districts. American Journal of Education (112), 496-520. Kippers, W. B., Poortman, C. L., Schildkamp, K., & Visscher, A. (2018). Data literacy: What do educators learn and struggle with during data use intervention. Studies in Education Evaluation, (56), 21-31. Knight, J. (2006). Instructional coaching. School Administrator, 63(4), 36–40. Koslinski, M. C., Carrasqueira, K., Andrade, F. M., & Cunha, C. P. (2015). Políticas de responsabilização educacional: modelos possíveis e uma análise preliminar da política do município do Rio de Janeiro. In A. M. Cavalieri & A. J. Soares, Educação Pública no Rio de Janeiro: Novas Questões à Vista. Mauad, 177-212. Koslinski, M. C., Cunha, C. P., & Andrade, F. M. (2014). Accountability escolar: Um estudo exploratório do perfil das escolas premiadas. Estudos em Avaliação Educacional, 25(59), 108- 137. https://doi.org/10.18222/eae255920142865. Lopes, K. C., Andrade, F. M., Koslinski, M. C., Portela, C., & Oliveira, A. R. (2015). Políticas de responsabilização escolar: Um estudo exploratório sobre as estratégias intermediárias da rede municipal do Rio de Janeiro. Jornal de Políticas Educacionais, 9(17), 75-89. Mandinach, E., & Gummer, E. (2015). Data-driven decision making: components of the enculturation of data use in education. Teachers College Record, 117. Marsh, J. A. (2012). Interventions promoting educators’ use of data: Research insights and gaps. Teachers College Record, 114. Marsh, J. A., Bertrand, M., & Huguet, A. (2015). Using data to alter instructional practice: The mediating role of coaches and professional learning communities. Teachers College Record, 117. Marsh, J. A., McCombs, J. S., & Martorell, F. (2010). How instructional coaches support data- driven decision making: Policy implementation and effects in Florida middle schools. Educational Policy, 24(6). Núñez, C. P. (2019a). Ações e percepções de gestores e professores em um programa com base no incentivo ao uso de dados educacionais [Tese de Doutorado]. Universidade Federal do Rio de Janeiro (UFRJ). https://ppge.educacao.ufrj.br/teses2019/tCarolina%20Portela%20Nunez.pdf Núñez, C. P., Koslinski, M. C., & Fernandez, S. (2019b). Políticas de incentivo ao uso de dados educacionais: Experiências no contexto internacional e brasileiro. Jornal de Políticas Educacionais, 13, 1-19. Poortman, C. L., & Schildkamp, K. (2016). Solving student achievement problems with data use intervention for teachers. Teaching and Teacher Education, 60, 425-433. http://lattes.cnpq.br/4896487821943193 http://lattes.cnpq.br/4157493815679403 Escolas em Foco 22 Rosistolato, R., Prado, A., & Fernandez, S. J. (2014). Cobranças, estratégias e 'jeitinhos': Avaliações em larga escala no Rio de Janeiro. Estudos em Avaliação Educacional, 25, 78-107. Schildkamp, K., Lai, M. K., & Earl, L. (2013). Data-based decision making in education: Challenges and opportunities. Springer. https://doi.org/10.1007/978-94-007- 4816-3. Schildkamp, K., & Poortman, C. (2015). Factors influencing the functioning of data teams. Teachers College Record, 117. Sousa, S. Z., & Koslinski, M. C. (2017). Avaliação em larga escala, índices e premiação: Iniciativas de estados brasileiros e seus efeitos. In M. G. J. Setton (Eds.). Mérito, desigualdades e diferenças: Cenários da (in)justiça escolar Brasil e Portugal. Annablume Editora. Staman, L., Timmermans, A. C., & Visscher, A. J. (2017). Effects of a data-based decision- making intervention on student achievement. Studies in Education Evaluation, 55, 58-67. Visscher, A. J. (2020). On the value of data-based decision making in education: The evidence from six intervention studies. Studies in Educational Evaluation. https://doi.org/10.1016/j.stueduc.2020.100899 Waymar, J. C., Shaw, S., & Cho, V. (2017). Longitudinal effects on teacher use of a computer data system on student achievement. AERA Open, 3(1), 1-18. Sobre os Autores Felipe Macedo de Andrade Universidade Federal do Rio de Janeiro felipema8@ufrj.br ORCID ID: https://orcid.org/0000-0002-1153-2614 Professor do Colégio de Aplicação da Universidade Federal do Rio de Janeiro. Doutorado em educação pela Universidade Federal do Rio de Janeiro e pesquisador do Laboratório de Pesquisa em Oportunidades Educacionais (LaPOpE/UFRJ). Coordenador do Curso de Especialização Saberes e Práticas na Educação Básica (CESPEB/ UFRJ) na ênfase de educação física escolar. Seus principais interesses de pesquisa são sociologia da educação, políticas de responsabilização e avaliação em larga escala. Ricardo Ceneviva Universidade do Estado do Rio de Janeiro ceneviva@iesp.uerj.br ORCID ID: https://orcid.org/0000-0001-5464-1119 Professor adjunto de ciência política do Instituto de Estudos Sociais e Políticos (IESP) da Universidade do Estado do Rio de Janeiro (UERJ). Antes de integrar o corpo docente do IESP, foi bolsita de pós-doutorado do Centro de Estudos da Metrópole (CEPID/FAPESP) no CEBRAP (Centro Brasileiro de Análise e Planejamento), instituição da qual é pesquisador associado. Graduou-se em comunicação social e em ciências sociais pela Universidade de São Paulo (USP); fez seu mestrado em administração pública e governo na Fundação Getúlio Vargas (FGV/SP) na área de economia e política do setor público; e seu doutorado em ciência política na Universidade de São Paulo (DCP/USP). Entre 2009 e 2011, foi pesquisador visitante do Departamento de Ciência Política da Universidade de Stanford nos Estados Unidos. Suas principais áreas de pesquisa são política comparada e métodos quantitativos aplicados em ciências sociais. Mariane C. Koslinski Universidade Federal do Rio de Janeiro mckoslinski@ufrj.br ORCID ID: https://orcid.org/0000-0002-9644-5041 https://doi.org/10.1016/j.stueduc.2020.100899 mailto:felipema8@ufrj.br https://orcid.org/0000-0002-1153-2614 https://orcid.org/0000-0001-5464-1119 https://orcid.org/0000-0001-5464-1119 mailto:mckoslinski@ufrj.br https://orcid.org/0000-0002-9644-5041 Arquivos Analíticos de Políticas Educativas Vol. 30, No. 110 23 Professora associada da Faculdade de Educação e do Programa de Pós-graduação em Educação da Universidade Federal do Rio de Janeiro. Doutorado em sociologia pela Universidade Federal do Rio de Janeiro/UFRJ (2007) e Pós-Doutorado no Instituto de Pesquisa em Planejamento Urbano e Regional IPPUR/UFRJ (2008-2009). Pesquisadora visitante no Center of Organizational Innovation/Columbia University (2005-2006). Coordenadora do Laboratório de Pesquisa em Oportunidades Educacionais (LaPOpE/UFRJ). Coordenadora do CP 17 Educação e Sociedade da Sociedade Brasileira de Sociologia. Seus principais interesses de pesquisa são nas áreas de sociologia da educação (avaliação educacional), análise de políticas educacionais, desigualdades de oportunidades educacionais e segregação socioespacial e desigualdades educacionais. arquivos analíticos de políticas educativas Volume 30 Número 110 26 de julho 2022 ISSN 1068-2341 Los/as lectores/as pueden copiar, mostrar, distribuir, y adaptar este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, los cambios se identifican y la misma licencia se aplica al trabajo derivada. Más detalles de la licencia de Creative Commons se encuentran en https://creativecommons.org/licenses/by-sa/4.0/. Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. La sección en español para Sud América de AAPE/EPAA es publicada por el Mary Lou Fulton Teachers College, Arizona State University y la Universidad de San Andrés de Argentina. Los artículos que aparecen en AAPE son indexados en CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). Por errores y sugerencias contacte a Fischman@asu.edu Síganos en EPAA’s Facebook comunidad at https://www.facebook.com/EPAAAAPE y en Twitter feed @epaa_aape. https://creativecommons.org/licenses/by-sa/4.0/ http://www.doaj.org/ http://www.doaj.org/ https://www.facebook.com/EPAAAAPE