Avaliação da implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia: O que dizem os usuários? Página web: http://epaa.asu.edu/ojs/ Artigo recebido: 28/7/2021 Facebook: /EPAAA Revisões recebidas: 29/11/2021 Twitter: @epaa_aape Aceito: 13/12/2021 arquivos analíticos de políticas educativas Revista acadêmica, avaliada por pares, independente, de acesso aberto, e multilíngüe Arizona State University Volume 30 Number 86 21 de junho 2022 ISSN 1068-2341 Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em Tempos de Pandemia: O que Dizem os Usuários? Breynner Ricardo de Oliveira Universidade Federal de Ouro Preto Ana Cristina Prado de Oliveira Universidade Federal do Estado do Rio de Janeiro & Jianne Ines Fialho Coelho Universidade Federal de Ouro Preto Brasil Citation: Oliveira, B. R., Oliveira, A. C. P., & Coelho, J. I. F. (2022). Avaliação da implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia: O que dizem os usuários? Arquivos Analíticos de Políticas Educativas, 30(86). https://doi.org/10.14507/epaa.30.7112 Resumo: O artigo avalia a percepção dos usuários sobre a implementação do Programa de Educação Remota (Reanp) formulado pelo governo do estado de Minas Gerais. Para tanto, foram monitorados e analisados 388 comentários de professores, alunos e responsáveis relativos a 36 postagens na página oficial do Facebook da Secretaria de Estado de Educação, realizadas entre maio e outubro de 2020. Os dados revelam que a implementação do programa e sua complexidade podem contribuir para a intensificação da desigualdade regional e social, além de apontar para a exclusão de significativa parcela dos usuários. Evidenciam-se tensões em relação às tecnologias, recursos e artefatos, assimetrias de acesso que comprometem o trabalho docente e o desempenho discente. A manifestação dos usuários sobre a implementação do Reanp indica que a emergência da política http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.30.7112 Arquivos Analíticos de Políticas E ducativas, Vol. 30 No. 86 2 conduziu a ações verticalizadas e improvisadas, aumento nos níveis de discricionariedade, indução de níveis distintos de comprometimento e motivação. Palavras-chave: estudos não presenciais; avaliação; implementação; políticas educacionais; COVID- 19 Evaluation of the implementation of the Remote Education Program in Minas Gerais during the pandemic: What do users say? Abstract: This paper assesses the users’ perception about the implementation of the Remote Education Program (Reanp) formulated by the government of the state of Minas Gerais. A total of 388 comments from teachers, students and guardians were monitored and analyzed in relation to 36 posts on the official Facebook page of the State Department of Education, published between May and October 2020. The data reveal that the implementation of the program and its complexity can contribute to the intensification of regional and social inequality, in addition to pointing to the exclusion of a significant number of users. Tensions are evident in relation to technologies, resources and artifacts, access asymmetries that compromise teaching work and student performance. The users’ perceptions about the implementation of Reanp indicates that the emergence of the policy led to vertical and improvised actions, increased levels of discretion, inducing different levels of commitment and motivation. Keywords: remote study; evaluation; implementation; educational policies; COVID-19 Evaluación de la implementación del Programa de Educación Remota en Minas Gerais en tiempos de pandemia: Qué dicen los usuarios? Resumen: El artículo evalúa la percepción de los usuarios sobre la implementación del Programa de Educación Remota (Reanp) formulado por el gobierno del estado de Minas Gerais. Se analizaron 388 comentarios de docentes, estudiantes y tutores sobre 36 publicaciones en la página de Facebook del Departamento de Educación del Estado, realizadas entre mayo y octubre de 2020. Los datos revelan que la implementación del programa pueden contribuir a la intensificación de la desigualdad regional y social, además de señalar la exclusión de una parte importante de los usuarios. Las tensiones son evidentes en relación a tecnologías, recursos y artefactos, asimetrías de acceso que comprometen la labor docente y el desempeño de los estudiantes. La expresión de los usuarios sobre la implementación de Reanp indica que el surgimiento de la política derivó en acciones verticales e improvisadas, mayores niveles de discrecionalidad, induciendo diferentes niveles de compromiso y motivación. Palabras clave: estudios no presenciales; evaluación; implementación; políticas educativas; COVID-19 Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em Tempos de Pandemia: O que Dizem os Usuários? Este artigo avalia a percepção dos usuários sobre a implementação do Programa de Educação Remota no Estado de Minas Gerais, adotado pela Secretaria Estadual de Educação de Minas Gerais (SEE) em função da COVID-19. A pandemia alterou profundamente a dinâmica da formação educacional dos alunos, as relações de trabalho dos profissionais da educação e a rotina dos responsáveis pelas crianças e jovens confinados em suas casas em função do fechamento das instituições escolares. Em outubro de 2021, a UNESCO divulgou o estudo “When schools shut”, sobre o impacto do fechamento de escolas devido à COVID-19. Ainda que o foco principal do estudo fosse as desigualdades de gênero entre estudantes, a pesquisa aponta que “À medida que os governos Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia 3 implementaram soluções de ensino à distância em escala mais ampla para responder à pandemia, a velocidade, não a equidade no acesso e nos resultados, parece ter sido a prioridade” (UNESCO, 2021). Alguns estudos internacionais buscaram mensurar esse impacto, alguns deles por meio de avaliações realizadas antes e após a suspensão das aulas presenciais, como foi o caso do trabalho de Engzell, Frey e Verhagen (2021), realizado na Holanda. Apesar de ter um sistema equitativo de financiamento educacional, a mais alta taxa de acesso à banda larga no mundo e ter tido um período relativamente curto de lockdown, os resultados da pesquisa (que comparou a taxa de aprendizagem no período ao mesmo intervalo de tempo dos três anos anteriores) apontam perdas significativas na aprendizagem. De acordo com os autores, o efeito equivale a um quinto do ano letivo, mesmo período em que as escolas permaneceram fechadas, ou seja, os alunos aprenderam muito pouco ou quase nada no período e os resultados foram piores entre as famílias “menos educadas”. Engzell e colegas apontam, ainda, a preocupação em relação aos resultados que podem ser encontrados em contextos mais desafiadores: “Isso é alarmante à luz das perdas muito maiores projetadas em países menos preparados para a pandemia” (Engzell et al., 2021, p. 10). Harris e Jones (2021) também encontraram, nos dados analisados no contexto estadunidense, discrepâncias no acesso à educação remota pelos alunos: enquanto, nos dados gerais, 15% das famílias não possuíam uma Internet de alta velocidade em casa, entre as famílias de baixa renda esse percentual sobe para 35%. Pietro e colegas (2020) previam esta desigualdade nos efeitos já esperados da pandemia na aprendizagem das crianças e jovens ao redor do mundo. Em estudo baseado em dados provenientes de avaliações internacionais (PISA, PIRLS, TALIS, entre outros) e na literatura acadêmica recente, os autores buscam compreender como a pandemia pode ter afetado a aprendizagem dos alunos direta e indiretamente e como “as medidas adotadas para contê-lo podem afetar o desempenho das crianças” (Di Pietro et al, 2020, p. 2). Olhando para o contexto europeu e para as medidas adotadas pelos países durante o período de fechamento das escolas, os autores discutem sobre as medidas que poderiam ser tomadas na tentativa de mitigar alguns dos possíveis efeitos negativos na educação causados pela COVID-19. Um dos aspectos analisados no estudo foi a diferença no acesso aos recursos para as atividades online, o que impactava o tempo de estudo diário dos alunos, aumentando as desigualdades educacionais. No Brasil, Souza e Mangoni Junior (2020) também discutem, a partir da análise de dados estatísticos, questões relacionadas às desigualdades no acesso ao ensino remoto pelos alunos brasileiros. Com base nas informações disponíveis anteriormente sobre o acesso à Internet e nos dados disponibilizados por diferentes pesquisas nacionais1, os autores concluem que “fica claro que o ensino remoto, mesmo com seus diferentes cenários em cada município brasileiro, não abrange todos os alunos da Educação Básica” (Souza e Mangoni Junior, 2020, p. 18). Destacam, ainda, que o ensino remoto foi planejado para uma parcela da população mais instruída, com estrutura digital e com menores dificuldades de aprendizagem. Sobre as estratégias de ensino remoto adotadas nas escolas brasileiras, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) divulgou, em julho de 2021, os resultados da pesquisa “Resposta educacional à pandemia de COVID-19 no Brasil”. No que se refere às Estratégias de comunicação e apoio tecnológico disponibilizadas aos alunos, apenas 12,7% das escolas afirmaram que disponibilizaram recursos (Internet ou equipamentos) para os alunos e 89,2% das escolas afirmaram ter mantido algum canal de comunicação dos alunos com a escola ou professores. Em relação às estratégias e ferramentas adotadas no desenvolvimento das atividades de ensino-aprendizagem com os alunos, o maior percentual de respostas (94,2%) foi para a 1 Realizadas por: Conselho Nacional de Juventude, Instituto Península e Consed/Undime (Conselho Nacional de Secretários de Educação/União Nacional dos Dirigentes Municipais de Educação), todas em parcerias com diferentes organizações. https://osf.io/pz7bw/ https://osf.io/9ae6x/ https://osf.io/rf8xg/ Arquivos Analíticos de Políticas E ducativas, Vol. 30 No. 86 4 disponibilização de materiais impressos aos alunos, evidenciando o baixo percentual de escolas públicas que conseguiram manter atividades interativas (aulas síncronas). Em Minas Gerais, no dia 15 de março de 2020, o Comitê Extraordinário da COVID-19 determinou a suspensão das aulas em todas as escolas da rede estadual mineira. Em 18 de abril, o governo estadual instituiu o regime de teletrabalho, incluindo os profissionais da educação no rol de servidores públicos. Em 12 de maio, a Secretaria Estadual de Educação (SEE) implementou um programa de educação remota cujo objetivo foi assegurar o cumprimento do calendário escolar interrompido na modalidade presencial em virtude da pandemia. O Regime de Estudos não Presenciais (Reanp) foi implementado pela SEE, por meio da Resolução n.º 4.310, por meio de três eixos, que se constituem como tecnologias integradas: (i) o aplicativo Conexão Escola; (ii) o Plano de Estudos Tutorados (PET) e (iii) o Programa Se Liga na Educação. Ao analisar a percepção dos usuários sobre os processos associados à operacionalização do Reanp (profissionais da educação; alunos; responsáveis), esse artigo avalia a implementação do Programa a partir da compreensão que seus destinatários têm sobre ele. Não se trata, portanto, de uma avaliação de impactos ou dos resultados do programa em relação ao desempenho e à aprendizagem dos alunos. Tendo como referência o desenho expresso nos documentos e marcos institucionais, os dados que subsidiaram a avaliação do Reanp foram obtidos por meio do monitoramento dos comentários na página oficial da SEE no Facebook, entre os meses de maio e outubro de 2020. Ao todo, a SEE realizou 256 postagens nesse período. Dessas, 184 estavam relacionadas de maneira direta ou indireta com o Reanp2. Das 184, foram selecionadas, inicialmente, as 70 mais diretamente associadas ao Programa. Nova seleção foi realizada, chegando-se ao número de 40 postagens, que tratavam estritamente das tecnologias do Reanp [Aplicativo Conexão Escola, Programa se Liga na Educação, PETs], seu uso e disponibilização. A partir dessas 40, foram observados aspectos como nível de engajamento dos usuários, quantidade e teor de comentários atribuídos, chegando-se a 36 postagens. À essas publicações, os usuários se manifestaram em 388 comentários sobre sua implementação, que foram codificados e analisados em nove categorias avaliativas. Ainda que os documentos institucionais sobre o Reanp não o apresentem desta forma pela SEE, assumimos, a partir das formulações de Oliveira e Daroit (2020), que seu desenho e os arranjos mobilizados ao longo da sua trajetória de implementação articulam distintos atores, rotinas e territórios em uma rede multinível. Assim, a complexidade dos processos de operacionalização do Programa também se associa a esses atores, transversalmente. Tais elementos são relevantes para os formuladores de políticas e programas públicos porque exigem que sua compreensão e ações decorrentes sejam concebidas em rede, articuladas. Esse é um dos pontos centrais para pensarmos o processo de implementação sob a perspectiva da avaliação. Tradicionalmente, avaliações de políticas e programas voltam seu olhar para os resultados, os efeitos e os impactos por eles alcançados. Segundo Vedung (2009) e Jannuzzi (2019), avaliações produzem indicadores, evidências qualitativas e resultados para informar o bom e plural debate. Ao afirmar que as avaliações de resultado ainda são praticamente o que se compreende por avaliação e o que é avaliado, Jannuzzi explica que tal crença – criticada por ele e por Gussi e Oliveira (2016) – contribui para a desconfiança (e desilusão) nas avaliações, nos resultados e evidências produzidas e, claro, no desencanto em relação aos próprios programas ou políticas. 2 As demais postagens referiram-se a notificações de datas comemorativas ou especiais; divulgação de oportunidades de trabalho; prorrogação de concurso público; prazos de inscrição no Enem; Prêmio Gestão Escolar e a divulgação dos resultados do Ideb. Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia 5 Segundo Draibe (2001), Bamberguer et al. (2016); Vedung (2009), Gussi e Oliveira (2016) e Boullosa (2020), como as políticas são cada vez mais complexas e há uma diversidade de variáveis intervenientes que não podem ser ignoradas, as avaliações requerem a compreensão da complexidade dos arranjos de implementação dos programas públicos; das necessidades de informação necessárias para a tomada de decisão sobre os mesmos; dos contextos associados aos cidadãos; da diversidade de demandas decorrentes e das subjetividades dos sujeitos envolvidos nesses processos. Ao colocarem uma lupa sobre as características dos públicos-alvo, sobre as diferentes capacidades de gestão nos municípios e nos territórios, sobre os gargalos operacionais que mitigam a efetividade da ação governamental, sobre o cotidiano das políticas nos territórios e sobre suas subjetividades, as avaliações da implementação revelam, conforme Lipsky (1980) e Dubois (2018), elementos importantes sobre a realidade da ação pública. Nessa direção, Oliveira (2019) afirma que, ao analisar a implementação a partir da perspectiva local, nos territórios, os achados que as pesquisas avaliativas fornecem são decisivas para informar os tomadores de decisão, gestores que, na maioria das vezes, não estão na linha de frente e pouco sabem sobre o cotidiano da implementação. Conhecer os meandros desse processo é fundamental para que as políticas alcancem os resultados esperados e sejam efetivas. No caso do Reanp, as escolas foram deslocadas para as casas das famílias e dos profissionais da educação. A implementação do Programa articula as dimensões formativas sob outras lógicas, agregando diferentes e novas variáveis, rehierarquizando-as e, muitas vezes, entrecruzando-as. A materialização do processo de implementação mobiliza um conjunto heterogêneo de atores no território, que envolve, no caso das políticas de educação remota, docentes, estudantes, escolas, órgãos estaduais e municipais de gestão. Simultaneamente, as tecnologias de informação e comunicação e materiais produzidos para o ensino remoto alteram relações de trabalho e rotinas pedagógicas, promovendo mudanças nos comportamentos familiares. A literatura sobre implementação de políticas tem avançado nessa direção. Iniciadas com pesquisas voltadas para a análise organizacional-institucional, as pesquisas concentravam-se em investigar como os diversos níveis de governo estavam estruturados e como tais arranjos relacionavam-se com os resultados das ações. Essas pesquisas revelaram que as burocracias não são neutras e desinteressadas. Segundo Downs (1966); Lipsky (1980) e Hill e Hupe (2014), os sujeitos envolvidos no processo de implementação importam. Assim, estudos sobre a dinâmica dos processos de implementação passaram a levar em conta o cotidiano das políticas, incorporando as rotinas, as interações, o comportamento dos burocratas [especialmente os que estão na linha de frente], os valores, as percepções, a discricionariedade, a tradução e a interpretação – subjetividades que são agregadas às políticas ao longo de sua trajetória, conforme Oliveira (2019). Para Lipsky (1980); Hill e Hupe (2014), Lotta (2019); Oliveira (2019), Oliveira e Peixoto (2019) e Oliveira e Daroit (2020) esse processo leva outros e novos agentes públicos que atuam no nível local – os street-level bureaucrats – a ocuparem e transitarem nos territórios, mobilizando (novas) demandas, processos, dinâmicas, atores institucionais e sujeitos. Além deles, também os beneficiários das políticas são atores com expectativas, interesses, percepções e significados que, em sua interação com os instrumentos e tecnologias e com os agentes públicos, produzem dinâmicas que também podem modificar o desenho da implementação, gerando resultados imprevistos e diferentes daqueles inicialmente propostos. A percepção destes atores – burocratas de nível de rua e beneficiários da política –, aqui chamados de usuários, foi objeto de análise dessa pesquisa sobre a implementação do Reanp em Minas Gerais. Esse artigo está organizado em quatro seções, além da Introdução e das Considerações Finais. A primeira apresenta uma revisão da literatura de avaliação de políticas articulando-a com a discussão sobre avaliação da implementação. A seção dois traz um panorama sobre Minas Gerais, contextualiza a rede estadual de ensino e descreve a institucionalidade do Reanp. Na terceira seção, o Arquivos Analíticos de Políticas E ducativas, Vol. 30 No. 86 6 percurso metodológico é descrito. Os dados são analisados na quarta seção, a partir das nove dimensões obtidas após a categorização dos comentários postados. A Avaliação da Implementação e as Percepções sobre o Processo de Operacionalização dos Programas Públicos As definições sobre avaliação, ainda que com abordagens e perspectivas distintas, orbitam em torno da noção de atribuir valor a uma política ou programa, por meio de um conjunto de procedimentos e indicadores, a fim de verificar os resultados, os impactos e os efeitos dessas ações em relação aos objetivos pretendidos, com vistas a fornecer insumos e evidências úteis para o enfrentamento dos problemas públicos. Segundo Weiss (1994), Vedung (2009), Bamberger et al. (2016) e Jannuzzi (2019), avaliar não é uma tarefa estanque; não se trata de uma decisão estritamente técnica ou neutra. Se a avaliação consiste em atribuir valor e produzir evidências relevantes que permitam aos atores e sujeitos refletir e intervir na realidade que é modificada pela política por meio da ação pública, há que se compreendê-la como um processo que revela como a ação pública se processa e como tal ação vincula, mobiliza, articula e tensiona os demais atores sociais que integram esse campo. Em relação ao escopo, Jannuzzi (2016b) afirma que as avaliações podem ser de resultados; de impacto; de efetividade; de satisfação e de processos. As diferenças de escopo estão, portanto, vinculadas ao próprio ciclo das políticas, o que permite dissecar suas dimensões e fornecer dados e informações para qualificar o processo decisório, no plano da gestão. Se as avaliações de resultado se voltam para os outcomes gerados pelas políticas – seus efeitos (previstos, não previstos, indesejáveis e colaterais) e o quanto se aproximam do planejado, as avaliações de processo analisam os outputs derivados dos processos, na implementação. Os outputs são os resultados e os efeitos dos insumos que foram disponibilizados, ao longo da operacionalização das ações. É nesse momento que a implementação emerge. Há, portanto, uma preocupação em desvelar o que se passa no cotidiano da sua operacionalização, nas trajetórias que as políticas constroem ao longo do seu processo de implementação, a partir da sua formulação. Compreender o entrelaçamento entre a formulação, a implementação e a avaliação são fundamentais para que, conforme Arretche (2001), as “avaliações sejam menos ingênuas”. Assumimos, então, que avaliações de processo e da implementação estão diretamente imbricadas, ainda que não sejam idênticas. O mesmo se dá entre elas e o momento da formulação, exatamente porque sabe-se que, em se tratando de políticas ou programas, o que se pretende [formulação e implementação em nível estratégico] não é necessariamente o que se obtém [implementação em nível operacional e cotidiano, no plano local]. Nesse artigo, a partir das convergências encontradas na literatura, propomos um conjunto de dimensões que possam ser compreendidas como referenciais teóricos e metodológicos para que a implementação possa ser avaliada. No texto “Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas”, Draibe (2001) afirma que se trata de compreender o desenho, as características organizacionais e de desenvolvimento dos programas ao longo da execução. Para a autora, busca-se identificar os fatores que operam ao longo da implementação e que condicionam, positiva ou negativamente, o cumprimento das metas e objetivos. Draibe apresenta, então, quatro dimensões estruturadoras para essas avaliações, que podem ser desdobradas em indicadores: (1) temporal, que trata dos cenários, contextos e conjuntura das políticas; (2) atores estratégicos e matrizes de conflito e cooperação, que analisam a adesão, as coalizões e os conflitos entre grupos, indivíduos e instituições; (3) redes e parcerias, envolvendo as questões inerentes às relações entre produtores e consumidores Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia 7 das políticas, os grupos de interesse, incluindo os que disputam com a política e (4) sistemas gerenciais e decisórios, que abrangem os processos administrativos, a comunicação, os sistemas logísticos, capacitação, execução orçamentária e processos de avaliação e monitoramento. Ao fazer essa discussão, Vedung (2009) afirma que os processos que condicionam os outcomes derivam de uma rede complexa de causas interdependentes e que os resultados e efeitos das políticas são, muitas vezes, incertos e não são, necessariamente, produzidos apenas pelos insumos fornecidos. Seu desenho e sua operacionalização cotidiana requerem a definição e a gestão de um conjunto de questões práticas que definirão como essas ações se materializarão: pessoas, recursos, legislações, normas, orçamentos, instituições e territórios são alguns dos elementos que constituem esses arranjos. Apreender os processos passa, portanto, pela compreensão desses mecanismos, seu funcionamento, suas tensões, seus desafios e exigências. Vedung (2009) apresenta um conjunto de fatores associados a essas avaliações – que as explicam, em uma tradução literal, ou que as estruturam e condicionam: (1) a trajetória da intervenção; (2) o desenho; (3) a implementação; (4) as respostas e reações dos envolvidos; (5) outras intervenções e atores governamentais associados e envolvidos; e (6) redes e partes interessadas vinculadas. Jannuzzi (2016a, 2019), por sua vez, trata dessas questões sob a perspectiva das avaliações sistêmicas, um processo de produção de informações e conhecimentos voltados para o aperfeiçoamento das diferentes etapas no processo de formulação, implementação e avaliação das intervenções, considerando seus componentes como transversais e integrados. A disponibilidade de recursos financeiros, as equipes técnicas e equipamentos físicos, os produtos e serviços entregues, os arranjos de governança e implementação e os mecanismos de participação social são elementos que emergem como dimensões que se entrelaçam, sistemicamente, condicionando as políticas e, consequentemente, as avaliações. Gussi e Oliveira (2016) e Oliveira (2019) destacam a centralidade do conceito de trajetória ao afirmar que compreender o itinerário das políticas, analisar seus efeitos, seus resultados, seus impactos e as questões associadas ao desenho e sua implementação significa, inicialmente, apreender como esse percurso foi (é) construído. A partir dessa compreensão, a noção de trajetória emerge como referencial metodológico estratégico para a compreensão dos processos sociais, construindo um diálogo entre temporalidades, subjetividades e territorialidades, revelando uma dimensão histórica, coletiva e social. Draibe (2001), Vedung (2009); Jannuzzi (2016a, 2019) e Gussi e Oliveira (2016) e Oliveira (2019) afirmam que essas avaliações colocam suas lentes nas relações entre os elementos – atores, recursos, normas, sujeitos, procedimentos, sistemas, tecnologias, organizações, arranjos, dentre outros – que, segundo Hill e Hupe (2014), articulam-se dinamicamente para que as ações se materializem – o momento da implementação. Por isso, a implementação emerge como uma dimensão estratégica para o fazer avaliativo, razão pela qual concordamos com Arretche (2001), Vedung (2009) e Jannuzzi (2016a, 2019) quando afirmam que a implementação está no centro da avaliação. Assumimos, então, que a implementação contingência o ciclo das políticas, tanto sob a perspectiva da formulação (o que se espera, a partir do desenho) quanto da avaliação (os resultados e efeitos realmente obtidos). Ao dialogar com esses autores, apresentamos os pontos que convergem e são transversais nessa discussão. Como entendemos que esses elementos podem ser compreendidos como dimensões avaliativas, a Figura 1 apresenta e articula essas dimensões, que podem ser desdobradas em categorias e indicadores. Arquivos Analíticos de Políticas E ducativas, Vol. 30 No. 86 8 Figura 1 Avaliação da Implementação a Partir de Dimensões Articuladas Fonte: Elaborado pelos autores. Conforme disposto na figura, a avaliação da implementação não está circunscrita a análises objetivas de documentos, leis, marcos regulatórios, regras de operação, orçamento alocado, decretos e manuais, dentre outros elementos. Ainda que sejam fontes institucionais relevantes para se compreender a gramática que orienta e conforma a ação em questão, há um conjunto de outras fontes que devem fazer parte do repertório do processo avaliativo e que estão diluídas na dimensão simbólica ou subjetiva dos aspectos informais e cotidianos que permeiam a dimensão institucional: as reuniões, os comportamentos e as atitudes dos atores individuais, grupais e institucionais associados à política e os conteúdos simbólicos associados à essa dinâmica. Residem também nessa dimensão as percepções, os saberes e as ações interpretativas dos sujeitos envolvidos nos processos de implementação, notadamente aqueles que atuam no nível local, na ponta. A atuação discricionária desses sujeitos no cotidiano da operacionalização das políticas e programas revela como a implementação realmente se processa nos territórios. A combinação dessas duas dimensões – a institucional e a simbólica – é que permitirá que a avaliação capte e interprete os diferentes significados acionados publicamente pelos sujeitos no contexto das ações que envolvem os programas e as ações públicas. Hill e Hupe (2014); Lotta (2019) e Oliveira e Daroit (2020) dialogam com essas questões quando afirmam que a implementação de uma política mobiliza uma complexa trama que extrapola o que foi prescrito, o que foi desenhado, o que se controla e o que idealmente se espera. As políticas públicas dão visibilidade a uma rede multinível, que articula e vincula todos esses elementos. Conforme Oliveira (2019), as políticas percorrem um itinerário dinâmico e não linear, incorporando um conjunto de sentidos, intencionalidades, subjetividades e formatos ao longo desse caminho – a trajetória. Tais elementos podem transformar a política oficial, dando a ela novos contornos, ainda que não sejam necessariamente expressos nos documentos oficiais. Há, portanto, um movimento descrito que permite compreender a avaliação da implementação como a valoração das ações que se materializam no dia a dia das políticas, diretamente vinculada ao caminho que percorrem. Segundo Gussi e Oliveira (2016), os programas não têm um sentido único e estão sujeitos a ressignificações, segundo seus distintos posicionamentos nos vários espaços institucionais (ou fora deles), de acordo com seus deslocamentos nas instituições Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia 9 e nas comunidades as quais os programas se destinam. Ao longo da implementação, sucessivos sentidos são atribuídos às políticas. É nessa perspectiva que as percepções emergem, resultado das experiências, dos saberes e dos valores que os sujeitos vinculados às políticas processam e incorporam a elas ao longo do tempo. Segundo Matos e Jardilino (2016), a percepção é a organização e a interpretação de sensações/dados sensoriais que resultam em uma consciência de si e do meio; uma representação dos objetos externos/exteriores. As percepções estão relacionadas com o grau de conhecimento que as pessoas têm de determinado tema, como se posicionam diante dele e geralmente estão relacionadas ao senso comum. Para Kawauchi (2019), as percepções também são ligadas às crenças e a grupos de referência com os quais as pessoas convivem e buscam informações. Deste modo, as percepções podem orientar a adoção de práticas cotidianas e a tomada de decisões mais abrangentes. Assim, os diferentes significados atribuídos a uma política ou programa podem suscitar diferentes práticas sociais que têm potencial para alterar aspectos das relações sociais, de modo intencional ou não. Cabe ressaltar que, apesar de as percepções não orientarem atitudes e comportamentos generalizantes da realidade social da política, Marins (2014) e Kawauchi (2019) afirmam que as percepções produzem reações em indivíduos e grupos que ultrapassam os objetivos declarados e os contornos inicialmente previstos nas políticas públicas, afetando o tecido relacional de uma dada sociedade. Segundo a figura 1, avaliar as dimensões associadas à implementação a partir das percepções dos sujeitos modifica o paradigma da própria formulação das políticas, uma vez que exige que os burocratas de alto e médio escalão e de linha de frente incorporem outras evidências que dialoguem com as complexidades que as caracterizam, a partir dos cidadãos, os destinatários das ações – suas subjetividades: (i) onde moram e como vivem?; (ii) o que sabem sobre a política? o que pensam a respeito? (iii) que acessos a bens e serviços possuem?; (iv) que demandas têm?; e (v) que dificuldades fazem parte do seu cotidiano? Esses serão subsídios importantes para a discussão dos dados na seção quatro, após a apresentação do Reanp, objeto da seção seguinte. A Rede Estadual de Ensino em Minas Gerais e a Institucionalidade do Reanp O estado de Minas Gerais, segundo mais populoso do Brasil, com 21 milhões de habitantes, totaliza 853 municípios. Minas é marcado pela desigualdade social e econômica, com regiões desenvolvidas no sul, sudeste, e noroeste do estado; e outras, muito pobres, no norte, nordeste e na região central, por exemplo. Os dados do Censo Escolar (2019) informam que Minas tem mais de 4,1 milhões de alunos matriculados nas redes municipais, estadual, federal e privada, sendo que 85% deles estão nas áreas urbanas. Pouco mais de 1,8 milhões são alunos da rede estadual, abrangendo 3.603 escolas – 3.288 localizadas em zonas urbanas. A rede estadual conta com 15.561 diretores escolares e emprega 96.783 professores, sendo que 35,5% são efetivos e 67,7% são temporários, o que faz com que a pressão por concursos públicos seja constante (Minas Gerais, 2017). Diante da pandemia, o governo mineiro fechou todas as escolas e suspendeu as aulas a partir de 15 de março de 2020, por meio da Deliberação n.º 01 do Comitê Extraordinário COVID-19. Em 18 de abril de 2020, a Resolução n.º 4.310 instituiu o Reanp, cujo objetivo é cumprir a carga horária mínima exigida pelo sistema de educação básica e garantir a formação dos alunos da rede estadual. O programa está organizado em três eixos: (i) o Plano de Estudos Tutorados (PET), (ii) o Programa Se Liga na Educação e (iii) o aplicativo Conexão Escola. As ações do Reanp são coordenadas pela SEE, que conta com o apoio de 47 Superintendências Regionais de Ensino (SRE). As SRE são responsáveis pela comunicação com os Arquivos Analíticos de Políticas E ducativas, Vol. 30 No. 86 10 profissionais da educação – gestores, equipe pedagógica e professores – e de maneira indireta, com os alunos e seus responsáveis [familiares]. São também as SRE que monitoram os processos de ensino e aprendizagem implementados pelas escolas. Os PETs, apostilas com conteúdo e atividades seriadas, foram formulados de acordo com o Currículo Referência de Minas Gerais, o Plano de Curso da escola e a carga horária prevista nas matrizes curriculares de ensino. Estão disponíveis para download no portal “Estude em Casa” da SEE e foram também enviados digitalmente (em arquivos PDF) aos responsáveis pelos alunos e aos docentes. Conforme o artigo 6º da Resolução n.º 4.310, cabe às escolas estaduais, com o apoio das SRE, identificar como o material impresso chegará aos estudantes e lhes disponibilizar os PETs. O Programa “Se Liga na Educação”, em formato de tele aulas ministradas por professores da SEE, é transmitido pela Rede Minas, pelo canal da Secretaria da Educação no Youtube e pela TV Assembleia, de segunda a sexta-feira3. Entre 7h30min e 11h15min são exibidas tele aulas gravadas. Cada 20 minutos é dedicado a um ano de escolaridade. Depois disso, as tele aulas ficam disponíveis no canal no Youtube e na página da Rede Minas, permitindo acesso ao conteúdo e visualização de forma assíncrona. As aulas também podem ser acessadas por meio do aplicativo Conexão Escola. O Aplicativo Conexão Escola é uma plataforma para que o aluno, seus responsáveis e os docentes acessem os canais de transmissão das tele aulas (Programa Se Liga na Educação, exibido na Rede Minas e no Youtube) e baixem os PETs, sem utilizarem seu pacote de dados. O aplicativo também disponibiliza o acesso às salas de bate-papo para interação entre os usuários. Sobre o cumprimento da carga horária, a Resolução n.º 4.310 define que a reorganização dos calendários deve compreender a realização de atividades escolares não presenciais, no intuito de minimizar as perdas dos estudantes. O PET foi o meio encontrado pela SEE para computar a carga horária semanal de atividade escolar dos estudantes, conforme exposto no artigo 4º da Resolução. Cabe à unidade escolar, em conjunto com a SRE, garantir a entrega, bem como a devolução dos PETs pelos estudantes que, juntamente com um formulário de registro de atividades e cumprimento da carga horária, devem ser arquivados na pasta do estudante em sua escola. Sobre a avaliação dos alunos, o Parecer CNE/CP n.º 5/2020 recomenda avaliações e exames que contemplem os componentes curriculares efetivamente ofertados durante a pandemia e considerem as dificuldades e peculiaridades do público atendido. Assim, espera-se garantir uma avaliação equilibrada aos estudantes e evitar o aumento nos índices de reprovação e abandono. A SEE disponibilizou, em setembro de 2020, a Avaliação Diagnóstica (AD), balizada pelas habilidades trabalhadas nos PETs. De dimensão diagnóstica e formativa, a AD foi aplicada nos meses de outubro e novembro de 2020, por meio do aplicativo Conexão Escola. No caso dos estudantes com dificuldades em acessar à Internet ou que não dispõem das tecnologias necessárias, a AD deveria ser impressa e entregue aos alunos. Em relação às atribuições dos profissionais na escola, diretores e equipe pedagógica devem promover ações de cunho administrativo e de planejamento, orientando e acompanhando o preenchimento de documentos e formulários, como o Plano de Trabalho Individual e o Relatório de Atividades, estabelecidos como forma de monitorar o trabalho docente. Além disso, devem divulgar eventos virtuais e cursos de formação continuada promovidos em webinários, seminários, dentre outros. Quanto aos professores, são eles que estabelecem uma comunicação mais direta com os alunos e responsáveis, via e-mail, telefone, redes sociais ou aplicativo de mensagens. É importante frisar que tais estratégias de comunicação e interação são recomendadas pela Resolução 474. A 3 A programação da Rede Minas e da TV Assembleia, canais públicos no estado, são transmitidas através de sinal aberto e antenas parabólicas via satélite. O sinal da Rede Minas chega a 183 dos 853 municípios. Com o aporte da TV Assembleia, mais 79 localidades foram incluídas, totalizando 270 municípios cobertos. Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia 11 Resolução 4.310, por sua vez, informa que tais rotinas deverão ser executadas preferencialmente no horário regular de trabalho do docente. Para atender os alunos portadores de necessidades especiais, a SEE recomenda que as atividades e os materiais desses estudantes passem por adequações realizadas pelos professores do Atendimento Educacional Especializado (AEE), obedecendo o Plano de Desenvolvimento Individual (PDI), conforme Resolução SEE n.º 4.256/2020. Ainda que os documentos institucionais publicados pela SEE sobre o Reanp não o apresentem dessa forma, assumimos, conforme Oliveira e Daroit (2020), que a implementação do programa constitui uma rede que mobiliza e congrega diversos atores humanos e não humanos: responsáveis [famílias], profissionais da educação, alunos, secretarias estaduais, superintendências regionais de ensino, Prodemge4, emissoras de TVs públicas, Assembleia Legislativa, sindicatos, operadoras de telefonia, provedores de Internet, empresas de plataformas e mídias digitais, territórios, processos, tecnologias, recursos, dentre outros. Aspectos Metodológicos Para essa pesquisa, consideramos as percepções dos usuários aos quais o programa é endereçado (Vedung, 2009): Alunos, responsáveis e profissionais que atuam na escola, compreendidos como implementadores do programa na linha de frente, conforme Lipsky (1980). As percepções foram coletadas no perfil institucional da SEE no Facebook (https://www.facebook.com/secretariadeeducacaomg), um dos canais de comunicação institucional utilizados pelo órgão. Entendemos que as percepções dos usuários trazem importantes informações sobre o processo de implementação em curso, considerando que traduzem uma avaliação da trajetória e da eficácia do programa. Como recorte temporal, consideramos os seis primeiros meses da implementação do Reanp – maio a outubro de 2020. Nesse período, a SEE divulgou diversas informações sobre o programa em suas diferentes fases. Em cada postagem oficial, os usuários publicaram suas reações e manifestações, em formato de comentários. Considerando seu teor e abordagem, algumas postagens da SEE geraram mais comentários do que outras. Cabe salientar que os comentários dos usuários nessa rede social são reações às publicações oficiais da SEE. Entre todas as postagens publicadas pela SEE no período (256, com 15.499 comentários no total), 184 foram sobre o Reanp. Dessas, 70 estavam diretamente associadas ao Programa e 40 tratavam estritamente das tecnologias do Reanp [Aplicativo Conexão Escola, Programa se Liga na Educação, PETs], seu uso e disponibilização. 36 foram as postagens que apresentaram maior engajamento, ou seja, maior volume de participação dos usuários com comentários, e, por isso, foram selecionadas. Para estas publicações houve um total de 388 comentários5. A Tabela 1 sistematiza esses dados. 4 Empresa de tecnologia da informação do governo mineiro, que auxilia órgãos e instituições públicas no estado. 5 Foram excluídos comentários apenas com a marcação de outro usuário (recurso utilizado nas redes sociais para chamar a atenção de outro usuário para a postagem) ou que traziam apenas emojis ou Gifs. https://www.facebook.com/secretariadeeducacaomg Arquivos Analíticos de Políticas E ducativas, Vol. 30 No. 86 12 Tabela 1 Levantamento das Publicações e Respectivos Comentários por Mês (Período observado) Maio Postagens Comentários Analisados Apresentação Reanp 31 Lançamento Reanp 13 Atualização foto de capa do perfil 15 Comunicado estreia do “Se Liga” 13 Link acesso informações Reanp 07 Link apresentação ferramentas Reanp 32 Saiba mais sobre o “Se Liga” 06 Material guia de construção para alunos da EE 04 Junho Divulgação dos números do Reanp 12 Divulgação inscrições webinar para gestão eficiente 04 Agradecimento da secretária pelo empenho de professores e diretores 12 Conclusão do 1º Ciclo do Reanp 15 Anúncio de utilização do App por PC 01 Julho Continuidade de projetos 01 Participação do governador Romeu Zema nas gravações do “Se Liga” 01 Convite aos educadores para participação no Prêmio Gestão Escolar 03 Webinar práticas de sucesso no Ensino Remoto 01 Sobre Edição Especial do Prêmio Gestão Escolar 02 Disponibilização do PET III 08 Parceiros da escola para acesso às ferramentas 05 Divulgação de Cantinhos de Estudos 23 Cursos inovações educativas para educadores 03 Agosto Solicitação de compartilhamento chat pelos docentes e discentes 13 Reforço de orientações pela secretária de educação 10 Setembro Pesquisa com os discentes sobre o andamento dos estudos 16 Parcelas Bolsa Merenda 03 Exemplos de escolas que participam da Gestão Integrada da Educação Avançada 01 Outubro Reorganização do calendário escolar 20 Protocolo de retorno 06 Gestores e o retorno 08 Rematrícula pelo aplicativo 09 PET V 12 Prorrogação Avaliação Diagnóstica no “Conexão Escola” 05 Anúncio de disponibilidade do PET VI 33 Anúncio do PET-Minas 300 anos 37 Anúncio do novo formato do “Se Liga” 03 Total 388 Fonte: Elaborada pelos autores. Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia 13 A tabela informa que houve um maior volume de postagens e de comentários nos meses de maio e de outubro. Esses dois meses coincidem com o início do programa (postagens de apresentação do programa, dos materiais e divulgação de links) e, em outubro, com a divulgação de nova organização do Reanp, com novo cronograma e formato de algumas plataformas, além de postagens referentes à Avaliação Diagnóstica. Houve também o anúncio de um PET extra, relativo à comemoração dos 300 anos de Minas Gerais. 322 usuários manifestaram-se em 388 comentários em relação às postagens oficiais da SEE. Consultando seus perfis, identificamos que 243 eram mulheres e 79 eram homens. Também foi possível categorizá-los quanto ao tipo de relação com a rede e com o Reanp (profissional da educação, responsável ou estudante) e de quais regiões se manifestavam, conforme sintetizado na figura a seguir. Cabe ressaltar que os comentários registrados na página da SEE foram realizados por usuários que estavam, em alguma medida, tendo (ou tentando ter) acesso ao Reanp e que conheciam esse canal de comunicação. Esse viés de seleção, contudo, não reduz a relevância do material recolhido, cujos autores/usuários são caracterizados a seguir. Figura 2 Comentários sobre o Reanp: Distribuição Regional Fonte: Elaborado pelos autores. Conforme disposto na figura, os comentários (indicados nos círculos em cada região no mapa) abrangem todas as 12 mesorregiões mineiras, ainda que a maior parte deles esteja concentrada na região Metropolitana de Belo Horizonte, capital do estado (99). Os profissionais da educação (na maior parte, professores) são os usuários mais presentes em todas as regiões. Os comentários (dados brutos) foram tratados enquanto textos e a grafia foi mantida. Nessa etapa, os dados foram extraídos de sua fonte, selecionados (exclusão de comentários não textuais) e codificados (no nosso caso, organizados mês a mês). Esse processo de codificação envolveu recortes, agregação e enumeração (Bardin, 2016) para garantir a expressão do conteúdo. Assim, cada texto (comentário) poderia conter diferentes unidades de texto. Cada unidade de texto dentro de um mesmo comentário foi categorizada separadamente. Nomeamos as unidades, identificadas e codificadas, como manifestações, uma vez que expressavam, em registro escrito, a percepção dos usuários sobre diferentes temas relacionados à implementação do Reanp. Alguns comentários, considerados simples, abordaram um único tema/manifestação, como “Esses professores que vão Arquivos Analíticos de Políticas E ducativas, Vol. 30 No. 86 14 apresentar, será que receberam o salário??” (Professor, maio), sobre as condições de trabalho dos professores. Outros, considerados complexos, abordavam mais de um tema, resultando em diferentes manifestações, como em: Li o PET da minha disciplina e, sinceramente, muito fraco! [Qualidade e adequação dos materiais] Como nossos alunos dos terceiros anos do E.M. competirão com alunos de outros sistemas educacionais a uma vaga no Ensino Superior, através do ENEM?? [Aprendizagem dos alunos]. (Professor, maio) Assim, chegamos a um total de 500 manifestações que expressavam sua percepção sobre o programa. A partir de seu teor, as manifestações analisadas foram codificadas em nove categorias avaliativas, conforme disposto na Tabela 2. As categorias não foram definidas a priori e sim a partir de uma codificação indutiva (Bardin, 2016), com base nas leituras exploratórias dos comentários (etapas da pré-análise e da exploração do material). Tabela 2 Distribuição do Total de Manifestações das Percepções dos Usuários por Categorias Categorias Descrição Total de manifestações no período Condições de acesso dos alunos e suas famílias Comentários sobre as condições dos alunos e de suas famílias para conseguirem acessar os materiais e plataformas do Reanp. Inclui acesso material e territorial. 107 Professores: Condições de trabalho Comentários sobre o excesso de trabalho, falta de materiais ou disponibilidade de Internet, falta de salário. 90 Funcionalidade/Logística do Programa Comentários sobre características de funcionalidade (links, plataforma, cobertura) e logística (distribuição de materiais impressos). 83 Desenho do Programa / Relações com a Secretaria Comentários sobre as características do desenho do Programa incluindo sua estrutura, a relação entre as interfaces, a relação entre a secretaria e usuários e implementadores. 56 Aprendizagem dos alunos Comentários sobre as condições para a aprendizagem adequada dos alunos, rendimento. 55 Qualidade e adequação dos materiais Comentários sobre as características dos materiais e conteúdos disponibilizados. 36 Professores: Protagonismo no Programa Comentários sobre a ausência de participação dos professores na confecção dos materiais ou no desenho do programa. 26 Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia 15 Categorias Descrição Total de manifestações no período Infraestrutura da escola Comentários sobre as condições da escola para oferecer a impressão de materiais e de acolhimento aos alunos com segurança em contatos/retorno presenciais. 24 Atendimento à Modalidades Específicas [Educação de Jovens e Adultos (EJA), Atendimento Educacional Especializado (AEE), Educação do Campo] Comentários sobre as características específicas para o atendimento à esta população. 23 Total 500 Fonte: Elaborada pelos autores. O que as Percepções dos Usuários Revelam sobre a Implementação do Reanp? Considerando nossa proposição de um conjunto de dimensões para a avaliação da implementação de políticas públicas apresentada na Figura 1, as categorias criadas com os dados compilados foram analisadas a partir das seguintes dimensões avaliativas: atores e sujeitos, contextos, percepções, recursos, territórios, redes e governança e processos. Nesse artigo, analisamos seis das categorias apresentadas na Tabela 2: As mais frequentes nos comentários e as que mais oscilaram na análise da trajetória. Os comentários recolhidos mencionaram com maior frequência temas relacionados às condições de acesso dos alunos e suas famílias ao programa de educação remota planejado e implementado pela SEE, conforme apresentado na Tabela 2. A dificuldade de acesso às diferentes alternativas de ensino remoto adotadas pelos sistemas educacionais tem sido apontada em diferentes estudos que emergiram no campo na atualidade. Cury (2020) problematiza as alterações no nosso cotidiano, destacando, nesse processo, a invasão das escolas nas casas dos cidadãos. Para ele, “[...] haverá perdas e danos para os estudantes, em maior ou menor grau, segundo a estratificação social e acesso às tecnologias digitais da informação e da comunicação” (ob. cit., p. 11). Em um estado com desigualdades sociais e regionais profundas, tais assimetrias foram identificadas em muitos comentários, como nos trechos a seguir: Sem comentários, quem não tem internet em casa e [ou] só tem [internet] móvel não entra. (Mãe, agosto) Os alunos não tem internet nem pra baixar o app… (Pai, agosto) Difícil entender, os alunos das periferias não estão recebendo [...] alunos não tem celulares, not books (sic) e muito menos internet de qualidade para acompanhar aulas, redes sociais. (Pai, julho) A manifestação dos usuários revela uma avaliação negativa no que se refere ao alcance do Reanp. Famílias e alunos apontaram que não estavam tendo acesso ao programa de ensino remoto da forma como havia sido desenhado pela SEE – o típico trade-off demarcado pela literatura sobre implementação, explicitado por Arretche (2001). De Jesus Pereira et al. (2020) encontraram situação parecida na rede estadual do Rio de Janeiro. Os autores apontam que as iniciativas da SEEDUC/RJ Arquivos Analíticos de Políticas E ducativas, Vol. 30 No. 86 16 (Secretaria de Estado de Educação do Rio de Janeiro) incluíram diferentes estratégias, sobretudo a parceria com o Google for Education, plataforma na qual foram disponibilizados os materiais didáticos e através da qual os professores interagiam com os alunos. Contudo, a dificuldade de acesso à Internet impossibilitou parte dos alunos de acompanharem as aulas, levando a SEEDUC/RJ a adotar a impressão e entrega dos materiais didáticos a este público. A SEE em Minas também direcionou esta solução, contudo, delegando às escolas a responsabilidade pela impressão dos materiais. Tal encaminhamento acabou encontrando, na realidade de muitas escolas, a impossibilidade de arcar com os custos da impressão, resultando nas manifestações que foram categorizadas em Infraestrutura das escolas. Neste tópico, as manifestações dos usuários se referem à manutenção e agravamento da exclusão provocados pela dificuldade em acessar ou baixar o material impresso. As escolas não tem recursos para imprimir o material e os alunos da zona rural não tem internet. Como vai funcionar??? (Mãe, maio) [...] os diretores alegam não ter recebido verbas para imprimir os PETS. (Mãe, julho) Percebe-se aqui uma transferência da implementação do programa por parte da SEE para as famílias e escolas, ou seja, a operacionalização da implementação do Reanp – que disponibiliza os materiais didáticos (PETs) através das plataformas online ou impressões – vai depender do acesso dos alunos/famílias à Internet ou da disponibilização do material didático impresso pelas escolas. Nesse caso, alunos e familiares também emergem como agentes implementadores provisórios, atuando conjuntamente com diretores, supervisores e professores, os típicos agentes da linha de frente, segundo Lipsky (1980). Há, portanto, dois níveis de implementação que operam em tempos e espaços distintos. A baixa capacidade de coordenação entre a SEE e os atores que atuam na ponta potencializa a discricionariedade no nível local. Entre estes atores, os professores podem ser considerados implementadores finais do programa e, como também são usuários, avaliadores desta implementação. Assim, suas reações também fazem parte do corpus dessa análise. A categoria Professores: condições de trabalho concentrou o segundo maior volume de reações (conforme apresentado na Tabela 2) e reuniu os comentários de professores da SEE que se manifestaram a respeito da falta de apoio da SEE no provimento de condições materiais para o trabalho remoto, como acesso à Internet e equipamentos, além do excesso de trabalho no período: Por favor, nos deem condições de fazer o trabalho. Temos que atender alunos, preencher documentos e atualizar a escrita. Cooperem conosco!!!! (Professora, julho) E aí professor, como vai seu trabalho? Está conseguindo pagar a internet com a miséria de salário que eu te pago. (Professora, setembro) Vocês estão ACABANDO com a saúde mental dos profissionais. (Professor, outubro) A pesquisa “Educação escolar em tempos de pandemia na visão de professoras/es da Educação Básica”, realizada pela Fundação Carlos Chagas, que ouviu 14.285 professores de todo o Brasil, também reportou a percepção docente sobre o aumento na carga de trabalho: “Para mais de 65% das respondentes, o trabalho pedagógico mudou e aumentou, com destaque para as atividades que envolvem interface e/ou interação digital” (FCC, 2020). Em uma fase mais descritiva da pesquisa foram analisadas as percepções dos professores sobre o aumento ou diminuição da valorização do trabalho docente no período pós-pandemia, como possíveis consequências dos programas de ensino remoto em curso. Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia 17 Na categoria que trata das percepções dos professores sobre suas condições de trabalho, também encontramos suas queixas referindo-se ao atraso/não recebimento dos salários6, como por exemplo: “[...] nós não dormimos por não conseguir pagar as nossas contas pq estamos sem salário!” (Professora, maio), “Recebendo atrasado e parcelado desde 2016.” (Professora, outubro). Cabe destacar que há várias manifestações dos professores concentradas na publicação na qual a SEE divulgou o Programa, queixando-se sobre sua ausência no planejamento e na produção dos recursos. Essas manifestações foram destacadas na categoria Professores: protagonismo no Programa. Os trechos abaixo exemplificam o sentimento dos docentes sobre essa exclusão: Fizeram uma apostila que nem pediram sua opinião, daquele que está dentro da sala de aula. Triste... (Professora, maio) O que o governo de Minas Gerais devia fazer é parar de criar material sem ouvir quem está na ponta. Porque quem melhor do que o professor regente pra fazer um material adaptado? (Professora, maio) É muito triste professores serem os últimos a saberem como vão funcionar essas aulas. (Professora, maio) Gomes Firmino e Ferreira (2020) ressaltam a importância do protagonismo docente no desenho dos programas de educação remota: “Os professores precisam participar das articulações políticas educacionais e serem considerados protagonistas do processo de instrução” (Gomes Firmino e Ferreira, 2020, p. 15). E, para implementar o programa, no qual não se sentiam protagonistas e nem com as condições adequadas de trabalho, os professores ainda reportavam a dificuldade na utilização do programa – manifestações também recorrentes entre alunos e famílias. Encontramos manifestações sobre as dificuldades ou imprecisões das plataformas utilizadas além de reclamações sobre a falta de articulação entre elas, categorizadas na dimensão Funcionalidade do Programa: O app não está funcionando. Desde cedo tem dado erro. (Pai, outubro) Conteúdos invertidos, logística ruim, tv que não tem sinal na maioria das cidades. (Professor, maio) Os alunos recebem a versão impressa do PET pq não tem acesso à internet, aí quando vão fazer as atividades eles precisam clicar em um link para ler um texto ou assistir um vídeo e depois resolverem as questões. (Professora, junho) Em um ambiente virtual, onde a sala de aula e as interações são deslocadas para o ciberespaço, é importante que estejam claras e bem articuladas as estratégias de ensino adotadas. Moreira e colegas (2020), destacam a importância deste planejamento “[...] possuir uma correta articulação horizontal entre todos os seus elementos e uma articulação vertical ou sequencial inteligível”. A ausência ou instabilidade dessa articulação pareceu ser um problema recorrente na implementação do Reanp, segundo a percepção de seus usuários: 6 Em função da severa crise orçamentária pela qual passa o estado, o governo mineiro, desde 2017, tem parcelado e atrasado o pagamento dos salários de seus servidores. Como os profissionais da educação estão nesse contingente, essa questão foi recorrente nos comentários e nas reações. Arquivos Analíticos de Políticas E ducativas, Vol. 30 No. 86 18 A matéria que é passada no vídeo aula não tem nada a ver com o exercício das apostilas. (Mãe, maio) Então a vídeo aula deveria ser de acordo com o que está na apostila. (Mãe, maio) Tal dinâmica, associada ao deslocamento da escola para as residências de alunos, de professores e demais profissionais da educação (que, antes da pandemia estavam centralizados nas unidades escolares) pulveriza, diversifica e multiplica as estratégias e práticas de atuação nesse nível. A partir das contribuições de Hill e Hupe (2014) e Oliveira e Daroit (2020), é nesse território, agora virtualizado nesses espaços domésticos, que a implementação real acontece. Dada a multiplicidade de arranjos de implementação que os relatos analisados sugerem existir, cotidianamente, a avaliação dos resultados e efeitos do Reanp estão diretamente associados às dimensões avaliativas derivadas de sua implementação. Passamos, então, a uma análise da distribuição destas categorias ao longo dos seis meses avaliados. Ancorados na noção de trajetória da implementação, discutida na seção dois, nossa intenção foi identificar tendências e analisá-las. O Gráfico 1 apresenta os resultados desta análise, discutidos na sequência: Gráfico 1 Trajetória das Manifestações dos Usuários no Período Observado Fonte: Elaborado pelos autores. 47 10 22 9 7 12 21 8 12 17 1 24 11 2 1 0 0 10 14 0 4 0 0 5 25 14 10 10 5 26 8 2 2 3 0 11 14 9 5 0 0 8 31 13 0 3 2 78 2 3 2 4 36 0 5 10 15 20 25 30 35 40 45 50 Maio Junho Julho Agosto Setembro Outubro Condições de acesso dos alunos e suas famílias Funcionalidade/ Logística do Programa Infraestrutura da escola Atendimento à Modalidades Específicas (EJA, AEE, Educação do Campo) Professores: condições de trabalho Professores: protagonismo no Programa Qualidade e adequação dos materiais Desenho do Programa / Relações com a Secretaria Aprendizagem dos alunos Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia 19 A observação das trajetórias do volume de manifestações em cada categoria indica algumas oscilações importantes que nos levam a inferir sobre as motivações que levaram os usuários do Reanp a reagir com maior ou menor intensidade a respeito de cada temática. Destacamos, a princípio, a categoria Condições de acesso dos alunos e suas famílias. Essa foi a categoria que concentrou o maior número de manifestações ao longo do período. Contudo, esse volume não foi uniforme ao longo dos meses. Houve maior concentração no início do período, que coincidiu com o lançamento do programa, denunciando a inviabilidade do ensino remoto para parte do público-alvo, considerando o desenho do programa definido na formulação. Essas manifestações, porém, oscilam e perdem a força ao longo dos meses, chegando a menos da metade no último mês avaliado. Como hipótese explicativa, consideramos uma possível aceitação, aprendizagem incremental ou acomodação dos usuários ao programa. A ausência de uma resposta à falta de acesso ao programa, manifestada pelos usuários no início da implementação, parece ter produzido uma diminuição no engajamento dos usuários na plataforma, a respeito deste tema. A mesma explicação pode ser aplicada às categorias Desenho do programa/Relações com a Secretaria e Qualidade e adequação dos materiais. Esta última, contudo, apesar de perder volume em manifestações entre maio e setembro, volta a ter reações importantes em outubro, quando é lançado um PET que não estava previsto, causando indignação entre os usuários que se manifestaram: Conteúdo muito superficial dessas apostilas, uma vergonha, mal podemos respirar e vem outro Pet, já estamos esgotados!!! (Aluna, outubro) Pet 6, que horror. nem começamos o 5 ainda. mal formulados, não condiz com o que realmente os estudantes precisam. (Professora, outubro) Pelo mesmo motivo, as manifestações da categoria Professores: condições de trabalho também voltam a aparecer com mais força em outubro, concentrando queixas dos professores sobre a mudança no cronograma, que incluiu mais um PET. A inclusão acarreta aos docentes mais materiais para ensinar, lançar e corrigir, alterando o planejamento já feito sem consultá-los. Ainda observando a trajetória das manifestações dos usuários, percebemos um movimento contrário na categoria Aprendizagem dos alunos. No início do período é a categoria com menor número de manifestações. Ao final do período, entretanto, é a aquela com maior engajamento. Neste aspecto, discute-se a valorização dada pela SEE à aprendizagem dos alunos no desenho do Reanp. Como questionam Gomes Firmino e Ferreira (2020, p. 6): “Em meio ao caos e à incerteza provocada pela pandemia da COVID-19, como fica o direito à aprendizagem?”. Ainda que possa parecer óbvio que esse seria o objetivo central da formulação e implementação de um programa de ensino remoto emergencial, talvez não esteja explícito no desenho e nem nas estratégias do programa. Os autores consideram que, ao implementarem seus programas, os sistemas educacionais (e governos) estão mais preocupados com a manutenção de um serviço do que com a aprendizagem dos alunos. Ou, como afirma Dubois (2018), é possível que os governos formulem programas para anunciar que algo está sendo feito, mesmo que saibam que não serão capazes de produzir os efeitos desejados. Possivelmente, o passar do tempo e a proximidade do final do ano, tradicionalmente associado às avaliações escolares classificatórias, incentivaram o aumento de manifestações dos usuários questionando a eficácia do programa em garantir a aprendizagem dos alunos. Explicitamente, essa manifestação se apresenta com força em outubro em reação às postagens da SEE sobre a programação de uma avaliação diagnóstica: Eu não entendi foi nada dessa avaliação diagnóstica, não colocaram o resultado das provas, apenas indicaram matérias para serem estudadas, inclusive não teve prova de Arquivos Analíticos de Políticas E ducativas, Vol. 30 No. 86 20 todas as matérias. Achei que o intuito disso era saber se o aluno está aprendendo bem as matérias dadas nos PETs. (Aluna, outubro) [...] governo quer empurrar as crianças e pronto tão nem aí... como minha filha vai passar pro segundo ano sem saber ler????? (Mãe, outubro) Alguns pais, enquanto implementadores provisórios do ensino remoto, questionam sua capacidade na entrega desse ensino: Os pais não explicam a matéria do mesmo jeito q o professor. (Mãe, outubro) Somos pais e queremos sim a melhor educação para nossos filhos, porém tudo tem um limite. (Mãe, outubro) A programação de uma avaliação da aprendizagem e a proximidade do final do ano letivo parecem ter influenciado os questionamentos sobre a efetividade do Reanp associada ao desempenho dos alunos para cada etapa de ensino. Ainda que prevista no desenho e no texto do programa, como apontamos em estudo anterior (Oliveira et al., 2021), e seja uma prática comum na rotina escolar, a avaliação da aprendizagem é ressignificada, considerando o contexto, a precariedade no acesso, a qualidade dos materiais e das interfaces, a falta de interação e o questionamento sobre a capacidade dos implementadores provisórios para garantir o objetivo do programa. Considerações Finais Segundo Jannuzzi (2019), é no dia a dia, na ponta, onde os programas “vivem” a maior parte do tempo, que a realidade teima em revelar sua complexidade. A avaliação da implementação produz percursos, trajetórias e sentidos: das instituições, das políticas, dos arranjos, dos processos, dos recursos, dos programas, dos sujeitos, dos cidadãos, dos implementadores, dos territórios e das subjetividades. Avaliar a implementação significa compreender e visibilizar aspectos que se tornam ocultos quando apenas o primado da técnica predomina, em consonância com a argumentação de Gussi e Oliveira (2016): a dimensão do direito, a noção de cidadania, as questões vinculadas à desigualdade e a exclusão e as tensões entre os distintos atores que emergem quando a avaliação acontece. Os dados e categorias avaliados, derivados das percepções dos usuários da política, tratam dessas questões. Vale ainda ressaltar que, no caso da amostra analisada, os usuários que expressaram as suas impressões são aqueles que já têm acesso garantido à, pelo menos, uma interface de comunicação e à Internet. Ainda assim, manifestaram sua preocupação com os alunos que estavam sem acesso ao programa. Dessa forma, caso nosso interesse fosse avaliar os resultados do programa e/ou seus efeitos em relação à aprendizagem ou desigualdades educacionais, seria necessário um outro desenho metodológico que incluísse outros indicadores, proposta que foge ao escopo deste artigo. Porém, como discutimos os dados à luz dos estudos sobre a avaliação da implementação de políticas públicas, as percepções dos usuários (que neste caso são também implementadores provisórios da política) trazem importantes elementos sobre a efetividade do Programa. Ficou evidente a percepção dos usuários sobre uma questão-chave: a diversidade e a desigualdade regional e social do estado, já existente antes da pandemia, pode estar sendo acentuada e agravada. Em um estado com 853 municípios, 47 Superintendências Regionais de Ensino, quase dois milhões de alunos e mais de 112 mil profissionais da educação, marcado por profundas desigualdades regionais e sociais, a implementação do Reanp revela a complexidade desse processo, Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia 21 evidenciando as tensões, as contradições e as dificuldades inerentes à implementação do Programa. Os comentários analisados indicam que sua implementação pode não ter chegado a todos os alunos, a todas as escolas, a todos os professores, a todas as casas. Igualmente, conforme relato dos usuários da amostra, não levou em consideração as questões associadas ao acesso à Internet, aos custos monetários e financeiros associados à aquisição de equipamentos e tecnologias. Os dados indicam as tensões percebidas por responsáveis, alunos e professores em relação às tecnologias, recursos e artefatos disponibilizados pela SEE. Como o Reanp está ancorado no uso dessas tecnologias digitais, as reações dos usuários revelam as assimetrias de acesso existentes, um gargalo que tem relação direta com os resultados obtidos. Com o fechamento das escolas, a escolarização desloca-se do território das escolas para outros territórios, especialmente os domicílios, de maneira abrupta e desavisada. Nesse sentido, há uma imbricação de territórios e não mais uma distinção entre os espaços da escola e das famílias. Isso ocorre quando os responsáveis assumem dimensões que, em teoria, deveriam ser exclusivas da escola, havendo uma redefinição de papeis e responsabilidades referentes ao trabalho educativo. Quando isso acontece, outras e novas temporalidades emergem, agravadas pela conjuntura imposta pela pandemia. Como a aprendizagem dos alunos depende diretamente do acesso a esses recursos e das condições sociais e econômicas das famílias (agravada pela pandemia), esse círculo vicioso compromete ainda mais o desempenho dos estudantes. O mesmo se dá para professores e equipe de gestão das escolas. Se, por um lado, os profissionais da educação foram “poupados” porque puderam realizar seu trabalho em home office, ao contrário dos profissionais da segurança pública e da saúde; por outro, a dinâmica do trabalho remoto foi marcada pelo improviso, pelo esgotamento invisibilizado, pela falta de habilidades tecnológicas, pelo isolamento, pela falta de apoio institucional, dentre outras questões reveladas pelos comentários. Por se tratar de um programa emergencial, consideramos que a SEE agiu de maneira vertical e improvisada, sem abranger todos os atores envolvidos. Como não houve tempo para se construir estratégias que vinculassem e articulassem os atores que operam na linha de frente, entendemos que a adesão desses sujeitos é bastante heterogênea. Ao implementar um programa de educação ancorado no uso das tecnologias, a SEE potencializou a discricionariedade desses atores, além de induzir níveis distintos de comprometimento e motivação, muito dependentes das interpretações e traduções que tais sujeitos processaram ao longo do tempo. As evidências dessa pesquisa convergem com os achados de Nakata (2020), que analisou as ações do governo no Distrito Federal. Segundo o autor, o governo distrital levou um tempo para adaptar-se ao contexto e adotar o ensino remoto através do uso de plataformas digitais. O relato do professor aponta a desigualdade de acesso dos alunos a essas plataformas e a desvalorização docente como problemas fundamentais da implementação do Escola em Casa, programa lançado pela secretaria de educação local. Destaca, ainda, que “esse período foi de intenso desencontro de informações entre a sede da SEEDF ((Secretaria de Estado de Educação do Distrito Federal) (nível central) e as CRE (Coordenação Regional de Ensino (nível intermediário)”. Cenário parecido foi apresentado por Benedito e Castro Filho (2020, p. 69) sobre o contexto cearense: “a solução adotada de imediato pelas escolas cearenses para continuar promovendo o ensino a seus alunos deu-se através das mídias virtuais, sendo utilizadas para o envio e recebimento de atividades, correções e trocas de informação dentro de tais veículos”. Porém, como alertam os autores, a adoção de tais estratégias não era garantia de que a aprendizagem dos alunos estaria sendo assegurada, tanto em decorrência das dificuldades de acesso por parte dos alunos às plataformas de ensino remoto quanto das dificuldades em relação à formação e preparo dos professores para colocá- las em prática. Novamente, a aprendizagem e as desigualdades educacionais derivadas das estratégias Arquivos Analíticos de Políticas E ducativas, Vol. 30 No. 86 22 adotadas pelos governos nacionais e subnacionais estão no centro do debate, conforme explicitado na introdução desse artigo. Sobre o processo de monitoramento e avaliação do programa realizado pela SEE, a Secretaria publicou em sua página, em setembro de 2020, uma chamada para docentes e discentes preencherem um formulário sobre sua atuação e participação no ensino remoto. A publicação contava com links que direcionavam para formulários online, um para alunos e outro para professores. Os formulários faziam parte da pesquisa “Conta aí! Como vão os seus estudos?”, e buscavam identificar as percepções dos estudantes sobre os impactos da pandemia COVID-19 em suas vidas cotidianas e sobre práticas de estudo. Criar um canal de escuta aponta para uma possível atenção da SEE ao monitoramento do programa e sua retroalimentação. Contudo, até o momento da escrita deste artigo, a SEE ainda não havia publicado os resultados desse levantamento. Também não há respostas da SEE aos comentários na página no Facebook analisados. Em pesquisa anterior, (Oliveira e colegas, 2021) não encontramos evidências quanto ao retorno da SEE aos questionamentos dos usuários em outros canais de comunicação institucional (Youtube; Google Play). Finalmente, ao adotar o desenho de um programa homogêneo em todas as regiões do estado e assim implementá-lo, a SEE lineariza sua ação, transferindo para os docentes, os alunos e suas famílias boa parte da gestão dos processos, dos custos e dos efeitos associados a essas dinâmicas. A percepção dos usuários sobre a implementação do Reanp pelo governo estadual mineiro parece evidenciar a fragilidade gerencial da SEE (e do próprio Estado) em lidar com a gestão educacional em tempos de crise. Ao lançar luz sobre as percepções que os usuários do Reanp têm sobre a sua implementação, trouxemos para o campo da avaliação as subjetividades desses cidadãos, evidências importantes para melhorar e informar a capacidade decisória dos gestores e, consequentemente, os resultados pretendidos pelas intervenções públicas. Referências Arretche, M. T. S. (2001). Uma contribuição para fazermos avaliações menos ingênuas. In: M. C. R. N. Barreira & M. C. B Carvalho (Orgs.), Tendências e perspectivas na avaliação de políticas e programas sociais. IEE/PUC-SP. Bamberguer, M., Segone, M., & Tateossian, F. (2016). Evaluating the sustainable development goals with a “no one left behind” lens through equity-focused and gender-responsive evaluations. UN Women. Bardin, L. (2016). Análise de conteúdo. (Trad. L. A. Pinheiro). Edições 70. Boullosa, R.F. (2020). Por um olhar epistemológico para a avaliação em políticas públicas história, teoria e método. Revista Avaliação de Políticas Públicas, 4(18), 9-37, jul./dez. Brasil, Conselho Nacional de Educação. (2020). Parecer CNE/CP Nº: 5/2020. Brasília, 28 de abril de 2020. Brasil, Inep – Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. (2020). Sinopse estatística da educação básica 2019. http://inep.gov.br/web/guest/sinopses-estatisticas-da- educacao-basica Cury, C. R. J. (2020). Educação escolar e pandemia. Pedagogia em Ação, 13(1), 8-16. De Jesus Pereira, A., Narduchi, F., & De Miranda, M. G. (2020). Biopolítica e educação: Os impactos da pandemia do Covid-19 nas escolas públicas. Revista Augustus, 25(51), 219-236. Di Pietro, G., Biagi, F., Costa, P., Karpinski, Z., & Mazza, J. (2020). The likely impact of COVID-19 on education: Reflections based on the existing literature and recent international datasets. Publications Office of the European Union. Downs, A. (1966). Inside bureaucracy. Little, Brown. Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia 23 Draibe, S.M. (2001). Avaliação de implementação: Esboço de uma metodologia de trabalho em políticas públicas. In: M. C. R. N. Barreira & M. C. B. Carvalho (Orgs.), Tendências e perspectivas na avaliação de políticas e programas sociais (pp. 13-42). IEE/PUC-SP. Dubois, V. (2018). El burócrata y el pobre: Relación administrativa y tratamiento de la miseria. [The bureaucrat and the poor]. Institució Alfons el Magnànim. Engzell, P., Frey, A., & Verhagen, M. D. (2020). Learning loss due to school closures during the COVID-19 pandemic. SocArXiv. https://doi.org/10.31235/osf.io/ve4z7 Fundação Carlos Chagas (FCC). (2020). Pesquisa: Educação escolar em tempos de pandemia na visão de professoras/es da educação básica. Informes 1 e 3. https://www.fcc.org.br/fcc/fcc- noticia/percepcao-de-docentes-sobre-a-valorizacao-profissional-no-contexto-da-pandemia. Gomes Firmino, S., & Ferreira, G. (2020). A educação na pandemia do novo coronavírus: Uma excepcionalidade ou uma prioridade? Itinerarius Reflectionis, 16(1), 01-24. Gussi, A. F., & Oliveira, B. R. (2016). Políticas públicas e outra perspectiva de avaliação: Uma abordagem antropológica. Revista Desenvolvimento em Debate, 4(1), 83-101. Harris, A., & Jones, M. (2021). Leading in disruptive times: A spotlight on assessment. School Leadership & Management, 41(3),171-174, https://doi.org/10.1080/13632434.2021.1887643 Hill, M., & Hupe, P. (2014). Implementing public policy (3 ed.). Sage. Jannuzzi, P. M. (2016a). Indicadores para avaliação sistêmica de programas sociais: O caso Pronatec. Estudos em Avaliação Educacional, 27(66), set./dez, 624-661. Jannuzzi, P. M. (2016b). Monitoramento e avaliação de programas sociais: Uma introdução aos conceitos e técnicas. Alínea. Jannuzzi, P. M. (2019). A implementação no centro da avaliação de políticas públicas. Revista Aval, 2(16), jul./dez. Kawauchi, M. (2019). O programa Bolsa Família e percepções de não beneficiários: Um estudo sobre o efeito preconceito. (Tese, Doutorado Desenvolvimento, Sociedade e Cooperação Internacional). Universidade de Brasília, Brasília. Lipsky, M. (1980). Street-level bureaucracy: Dilemmas of the individual in public services. Russell Sage Foundation. Lotta, G. (Org.) (2019) Teoria e análises sobre implementação de políticas públicas no Brasil. Enap. Marins, M. T. A. (2014). Repertórios morais e estratégias individuais de beneficiários e cadastradores do Bolsa Família. Sociologia & Antropologia, 4(2), 543-562, out. Matos, D. A. S., & Jardilino, J. R. L. (2016). Os conceitos de concepção, percepção, representação e crença no campo educacional: similaridades, Diferenças e implicações para a pesquisa. Revista Educação e Formação, 1(3), 20-31. https://revistas.uece.br/index.php/redufor/article/view/111 Minas Gerais, Conselho Estadual de Educação. (2020). Resolução CEE Nº 474/2020. Dispõe sobre reorganização das atividades escolares do Sistema Estadual de Ensino de MG, devido à pandemia COVID-19. https://cee.educacao.mg.gov.br/index.php/legislacao/resolucoes/send/5-2020/12965- resolucao-cee-474-reorganizacao-calendario-escolar-final-pandemia-covid-19 Minas Gerais, Secretaria de Estado de Educação. (2017). Série Histórica da Educação de Minas Gerais 2008/2017. SEE/MG. Minas Gerais, Secretaria de Estado de Educação (2020). Resolução SEE Nº 4.310/2020. Dispõe sobre as normas para oferta de Reanp, institui Regime Especial de Trabalho nas Escolas. https://www2.educacao.mg.gov.br/index.php?option=com_gmg&controller=document&i d=24729-resolucao-see-n-4310-2020?layout=print Arquivos Analíticos de Políticas E ducativas, Vol. 30 No. 86 24 Moreira, J. A., Henriques, S., & Barros, D. (2020). Transitando de um ensino remoto emergencial Para uma educação digital em rede, em tempos de pandemia. Dialogia, 34, 351-364. Nakata, C. H. (2020). Coronavírus: Como a pandemia escancarou a desigualdade e paralisou a educação no Distrito Federal. Revista Nova Paideia – Revista Interdisciplinar em Educação e Pesquisa, [S. l.], 2(3), 72-83. http://ojs.novapaideia.org/index.php/RIEP/article/view/44. Oliveira, B. R. (2019). A implementação de políticas educacionais no nível micro: Uma análise a partir dos profissionais da escola no contexto da prática. Revista de Estudios Teóricos y Epistemológicos en Politica Educativa, 4, 1-17. Oliveira, B. R., & Daroit, D. (2020). Public policy networks and the implementation of the Bolsa- Família Program: An analysis based on the monitoring of school attendance. Archivos Analíticos de Políticas Educativas, 28(120), 1-27. Oliveira, B. R., & Peixoto, M. C. (2019). Trazendo à tona aspectos invisíveis no processo de implementação de políticas públicas: uma análise a partir do Programa Oportunidades. In: R. R. C. Pires (Org.). Implementando desigualdades: Reprodução de desigualdades na implementação de políticas públicas. Ipea. Oliveira, B. R., Oliveira, A. C. P., Jorge, G. M. S., & Coelho, J. I. F. (2021). A implementação da educação remota em tempos de pandemia: análise da experiência do estado de Minas Gerais. RIAEE – Revista Ibero-Americana de Estudos em Educação, 16(1), jan./mai. Souza, V. F., & Magnoni Júnior, L. (2020). O que as estatísticas retratam sobre a educação básica em tempos de Covid-19. Revista Epistemologia e Práxis Educativa, 3(03), set./dez., 1-21. Unesco. (2021). Quando as escola se fecham: Novo estudo da UNESCO expõe a falha das respostas educacionais à COVID-19 quanto ao fator gênero. https://pt.unesco.org/news/quando-escolas-se-fecham- novo-estudo-da-unesco-expoe-falha-das-respostas-educacionais-covid-19 Vedung, E. (2009). Public policy and program evaluation. Transaction. Weiss, C. H. (1994). Evaluation: Methods for studying programs and policies. Pearson. Sobre os Autores Breynner Ricardo de Oliveira Universidade Federal de Ouro Preto breynner.oliveira@gmail.com https://orcid.org/0000-0003-0956-4753 Breynner R. Oliveira, Doutor, Professor do Departamento de Gestão Pública e dos Programas de Pós-Graduação em Educação e Economia Aplicada da Universidade Federal de Ouro Preto. Interesses na área de políticas públicas, com ênfase na implementação, avaliação e monitoramento de políticas socioeducativas. Investiga e supervisiona diversas pesquisas acadêmicas no campo da avaliação e implementação de políticas educacionais e sociais vinculadas a instituições e organizações a nível local, com foco nos processos de tomada de decisão, na percepção dos atores envolvidos, nas estratégias de implementação, nos efeitos institucionais produzidos e na dinâmica de trabalho dos sujeitos envolvidos. Ana Cristina Prado de Oliveira Universidade Federal do Estado do Rio de Janeiro ana.oliveira@unirio.com https://orcid.org/0000-0002-0367-6669 Ana Cristina Prado de Oliveira, Doutora, Professora Adjunta do Curso de Pedagogia e do Programa de Pós-Graduação em Educação (PPGEdu) da Universidade Federal do Estado do Rio de Janeiro Avaliação da Implementação do Programa de Educação Remota em Minas Gerais em tempos de pandemia 25 (UNIRIO). Sua pesquisa na área educacional envolve os seguintes temas: gestão escolar, liderança, clima escolar, avaliação, políticas públicas, tendo publicações nesta área. Investiga e supervisiona pesquisas acadêmicas no campo da gestão educacional e da implementação de políticas educacionais. Jianne Ines Fialho Coelho Universidade Federal de Ouro Preto jiannecoelho@gmail.com https://orcid.org/0000-0003-0657-4649 Doutoranda e Mestre em Educação pela Universidade Federal de Ouro Preto, Especialista em EaD pelo Senac/MG, Graduada em Química pelo Centro Universitário de Caratinga. Pesquisa temas relacionados à implementação, avaliação e monitoramento de políticas públicas, principalmente na educação. arquivos analíticos de políticas educativas Volume 30 Number 86 21 de junho 2022 ISSN 1068-2341 Los/as lectores/as pueden copiar, mostrar, distribuir, y adaptar este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, los cambios se identifican y la misma licencia se aplica al trabajo derivada. Más detalles de la licencia de Creative Commons se encuentran en https://creativecommons.org/licenses/by- sa/4.0/. Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. La sección en español para Sud América de AAPE/EPAA es publicada por el Mary Lou Fulton Teachers College, Arizona State University y la Universidad de San Andrés de Argentina. Los artículos que aparecen en AAPE son indexados en CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). Por errores y sugerencias contacte a Fischman@asu.edu Síganos en EPAA’s Facebook comunidad at https://www.facebook.com/EPAAAAPE y en Twitter feed @epaa_aape. https://creativecommons.org/licenses/by-sa/4.0/ https://creativecommons.org/licenses/by-sa/4.0/ http://www.doaj.org/ https://www.facebook.com/EPAAAAPE