Reflexões de um avaliador no contexto da educaço brasileira: Uma jornada pessoal VERHINE, R. (2023, 12 de abril). Reflexões de um avaliador no contexto da educação brasileira: Uma jornada pessoal. Education Review/Resenhas Educativas, 30. http://dx.doi.org/10.14507/er.v30.3717 LEGADOS PEDAGÓGICOS REFLEXÕES DE UM AVALIADOR NO CONTEXTO DA EDUCAÇÃO BRASILEIRA: UMA JORNADA PESSOAL Robert Verhine Universidade Federal da Bahia Em 2009, no Encontro Anual da Associação Brasileira de Avaliação Educacional (ABAVE), fui agraciado com um reconhecimento especial (e uma placa) por minhas contribuições para o campo da avaliação educacional no Brasil. Nessa homenagem, a ABAVE justificou a razão desse reconhecimento, destacando o fato de que minhas contribuições sobre a avaliação eram concernentes tanto à educação básica como à superior e, na educação superior, eram referentes aos níveis da graduação e da pós-graduação. Nas próximas páginas, abordo meus variados envolvimentos como um avaliador da educação. No entanto, considerando que o relato é de natureza autobiográfica, algumas palavras mais gerais sobre a trajetória da minha carreira são apropriadas. Nasci e fui criado no estado da Califórnia, nos Estados Unidos. Ao completar meus estudos de graduação em 1967, na Universidade de Califórnia, Santa Barbara, onde me especializei nos campos da economia e ciências sociais, entrei nos Voluntários da Paz, uma organização do governo americano com objetivo de enviar jovens, tipicamente recém graduados, para trabalhar em atividades sociais nos países do então chamado “terceiro mundo”. Fui motivado pelo idealismo e também pragmatismo, pois procurava ter uma experiência em uma cultura estrangeira, poder ajudar os pobres e evitar o serviço militar, que, na época, significava lutar na Guerra do Vietnã, uma guerra contra a qual eu me posicionava fortemente. Por sorte minha, os burocratas em Washington DC determinaram que meu serviço como Voluntário seria realizado no Brasil, no estado da Bahia. Foto: acervo do autor. Durante meu serviço, que durou até o final de 1970, me envolvi no campo da educação de base e, em decorrência dessa experiência, resolvi fazer meus estudos pós-graduados na Universidade da Califórnia, Los Angeles, focalizando nos estudos latino-americanos (mestrado) e na educação comparada (doutorado). Minha intenção na época era me tornar um “brasilianista”, estudando sobre o Brasil, mas trabalhando como professor em universidade nos Estados Unidos. Porém, o caminho foi alterado, pois ao receber uma bolsa para fazer a pesquisa para minha tese de doutorado no Brasil, fui convidado para atuar no então recentemente criado Programa de Mestrado em Educação da Universidade Federal da Bahia (UFBA). Education Review/Resenhas Educativas 2 Acabei ficando na Bahia e, agora, completo 46 anos (de 1977 a 2023) como professor permanente do referido programa de pós- graduação. Foto: acervo do autor. Fonte: UFBA. Meus estudos acadêmicos focalizaram, inicialmente, as relações entre educação e mercado de trabalho, aplicando noções teóricas e metodológicas da área da economia. A partir da década de 90, minha linha de pesquisa se modificou, passando para a análise do financiamento da educação no Brasil, um campo até então pouco estudado. No entanto, no decorrer do tempo, meu interesse principal migrou, lentamente, para a questão da avaliação educacional, como resultado de diversos fatores, inclusive participação na comissão de avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) a partir de 1996 e ocupação, em 1998, da posição de Diretor do Centro de Estudos Interdisciplinares para o Setor Público (ISP), órgão suplementar da UFBA com a responsabilidade de desenvolver avaliações demandadas pela própria Universidade e também por entidades públicas diversas, nos níveis municipal, estadual e federal. Muito mais sobre minha experiência com a CAPES, o ISP e envolvimentos correlatos será apresentado nas páginas a seguir. Começo o relato da minha trajetória como estudioso e praticante do campo da avaliação da educação com atuações no nível da educação básica, passando, subsequentemente, para o nível da graduação e, finalmente, para o nível da pós-graduação. Como será visto, embora a avaliação educacional só se tornasse meu foco acadêmico principal a partir do novo milênio, minhas incursões no campo se iniciam antes, durante a década de 1980. Avaliando a Educação Básica Minha primeira experiência com a avaliação da educação básica aconteceu em 1984, quando o Instituto Anísio Teixeira, então recém-criado pela Secretaria de Educação da Bahia (SEC/BA) para financiar a pesquisa educacional, me convidou a coordenar um estudo cujo objetivo era avaliar as causas da evasão, repetência e distorção idade-série na primeira série das escolas públicas em todo o Estado. O generoso financiamento permitiu, nos dois anos de investigação, a formação de um grupo de trabalho com seis professores (comigo) e dez estudantes da Faculdade de Educação da UFBA. O estudo foi estruturado em três etapas. A primeira envolveu uma abrangente revisão da literatura local, nacional e internacional sobre o tema. A segunda etapa se voltou para a realização de um survey, conduzido em 11 municípios, nos quais um total de 288 respondentes, representantes de professores, alunos, diretores escolares, pais ou responsáveis e autoridades locais de 24 escolas primárias (metade rurais, metade urbanas), foram entrevistados. Para formar a base de comparação, os 162 pais ou responsáveis foram estratificados em dois grupos, aquele cujos pais tinham crianças no fluxo normal escolar e outro com pais de alunos repetentes ou que haviam abandonado. A terceira etapa do estudo buscou aprofundar o entendimento dos processos identificados nas duas primeiras por meio de realização de estudo de caso com quatro escolas representantes de quatro distintos contextos baianos: interior rural, interior urbano, capital urbano e capital suburbano. Em cada um dos Legados pedagógicos:Robert Verhine 3 contextos, a escola era selecionada a partir da identificação prévia de taxas de abandono e repetência extremamente altas. Dentro de cada escola, a investigação se concentrou na turma de primeira série com menor número de repetentes, de modo a minimizar a contaminação por fatores antecedentes ao estudo. Em cada classe, foram selecionados nove alunos para observação aprofundada ao longo do tempo. As amostras de alunos foram identificadas após um trabalho de campo exploratório, e cada uma foi composta por três subgrupos: alunos propensos a ter sucesso na turma, aqueles propensos a repetir e ainda aqueles propensos a abandonar. Enquanto que os prováveis repetentes eram aqueles que haviam demonstrado dificuldade em aprender, os prováveis evadidos eram alunos com baixa frequência. Além dos estudantes, foram consideradas outras fontes: os professores responsáveis pelas salas selecionadas, o diretor da escola, os pais dos alunos da amostra, e o secretário de educação do município. Os dados da investigação, obtidos de múltiplas fontes, foram objeto de análise de conteúdo e de discurso. Os resultados das três etapas foram subsequentemente divulgados em múltiplos veículos, a exemplo dos relatórios publicados pela SEC/BA (GOVERNO DO ESTADO DA BAHIA, 1985a; 1985b; 1985c; 1986) e de artigos publicados em periódicos especializados (VERHINE, 1987; VERHINE; MELO, 1987; 1988). Dentre estes artigos, o último (VERHINE; MELO, 1988) foi o mais importante, visto que foi publicado internacionalmente em quatro línguas (inglês, francês, espanhol e árabe) por um periódico amplamente respeitado (Prospects/UNESCO). Dentre os resultados mais significativos, os que mais se sobressaíram foram: a) fatores externos à escola eram as causas principais do abandono na primeira série; b) os fatores mais importantes, inerentes à escola, que contribuíram para o abandono estavam relacionados às pressões colocadas nos alunos considerados indisciplinados e à ocorrência de sucessivas repetições na série; c) em termos de repetência, os valores intraescolares foram especialmente importantes, particularmente aqueles relativos à organização da sala de aula e à autoridade do professor; e 4) a principal causa da distorção série-idade foi a repetência, e não a entrada tardia na escolarização formal. O estudo também revelou tendências de adoção de propostas curriculares que não eram adaptadas às condições de existência do estudante; de utilização de práticas didáticas conservadoras e não atraentes; de ênfase na passividade dos estudantes e de condução de atividades exclusivamente dentro da sala de aula; de emprego de professores com baixa qualificação; e de promoção de relações autoritárias, dos professores para com os alunos e da escola para com a comunidade local. Com base nos achados da investigação, o grupo de pesquisadores entregou à SEC/BA uma relação de 16 recomendações para atenuar o problema do fracasso da primeira série nas escolas públicas estaduais. A lista se limitou àquelas políticas que poderiam ser implementadas no contexto social, político e econômico da Bahia da época. A maior parte das recomendações foi mais tarde adotada pela SEC/BA, mas é questionável se nosso estudo tenha tido impacto nessas decisões. Considerando os problemas hoje ainda enfrentados pelas escolas na Bahia, é evidente que as recomendações, per se, não foram suficientes. Estou convencido de que o argumento apresentado em minha dissertação de mestrado, baseado na teoria de sistemas sociais, é ainda válido, pois postula que as reformas das escolas devem estar intimamente ligadas a intervenções complementares em áreas como saúde, nutrição, emprego, habitação, níveis salariais e outras que tais (VERHINE, 1974). Neste sentido, a escola precisa ser vista como integrante de uma rede social na qual as mudanças ocorrem apenas quando Education Review/Resenhas Educativas 4 as políticas são multisetoriais e articuladas e se reforçam mutuamente. Após a conclusão do estudo, dirigi meu foco de trabalho para o financiamento da educação básica e não retornei para a avaliação do desempenho acadêmico escolar por mais de dez anos. Em dezembro de 1998, logo após ter deixado a posição de Pró-Reitor de Pesquisa e Pós-Graduação, fui designado pelo Reitor da UFBA como Diretor do Centro de Estudos Interdisciplinares para o Setor Público (ISP), um órgão suplementar já mencionado anteriormente. O ISP lidava com os campos do desenvolvimento de recursos humanos e organizacionais, conduzindo estudos e provendo consultorias para a melhoria da governança do setor público, focalizando a UFBA e também outras entidades governamentais nas esferas municipal, estadual e nacional. Após ter assumido esta nova posição, percebi que as contribuições do ISP poderiam ser ampliadas se ele fosse transformado em uma agência especializada em avaliação. Durante meus oito anos como o Diretor do ISP, o órgão promoveu vários programas importantes, com financiamento externo, voltados para a avaliação em larga escala da educação básica, tais como o Programa de Formação Continuada de Gestores de Educação (PROGED), o Sistema de Monitoramento e Avaliação do PROJOVEM/Região Nordeste e o Programa de Apoio ao Desenvolvimento de Educação Municipal (PRADEM). O maior desses programas, denominado Projeto de Avaliação Externa, resultou de um convênio entre SEC/BA, UFBA e a Fundação de Apoio à Pesquisa e à Extensão (FAPEX), assinado em novembro de 1999, que previa a criação de uma agência de avaliação na UFBA que avaliasse a aprendizagem e o desempenho de alunos de escolas públicas (estaduais e municipais) na Bahia. Em 2000, o Reitor da UFBA designou o ISP como responsável por esta bastante ampla (e cara) iniciativa e recebi o papel de Responsável Técnico. Com o Banco Mundial a garantir o financiamento indispensável, a American Research Institutes (AIR) a prover as orientações necessárias e a capacitação, e a UFBA oferecendo o espaço preciso, o ISP buscou formar um time de especialistas altamente competentes para trabalhar na agência, responsáveis por preparar e aplicar os instrumentos de avaliação e analisar e comunicar os resultados encontrados. A equipe, originalmente composta por 11 membros, foi capacitada pela AIR no final de 2000 e durante o primeiro ciclo de avaliação, cujo início ocorreu em 2001. A Bahia era um dentre os muitos estados que haviam estabelecido sistemas de avaliação aproximadamente no mesmo período. O objetivo principal era prover feedback para as escolas sobre a aprendizagem de seus alunos, desta forma complementando as avaliações nacionais conduzidas pelo Sistema de Avaliação da Educação Básica (SAEB), que tinha foco em amostras de escolas e estudantes e, portanto, podia apenas identificar tendências no sistema educacional nacional e estadual, mas não ao nível do município ou da escola. Contudo, o projeto baiano foi único por uma série de razões. Primeiro, para evitar interferências político- partidárias, buscou criar uma agência, independente da Secretaria da Educação, para conduzir as avaliações. Segundo, planejou situar a agência na mais importante universidade do Estado, desta forma ampliando sua legitimidade e criando oportunidades para professores e estudantes aprenderem sobre o trabalho avaliativo e utilizarem dados obtidos nas avaliações para fins de pesquisa. Terceiro, a avaliação foi desenvolvida a partir de duas linhas de atuação: uma mais voltada para o apoio à gestão de sistema, focalizando o desempenho estudantil e com frequência anual, e a outra, direcionada para dar suporte ao professor, com foco na aprendizagem do aluno e com múltiplas Legados pedagógicos:Robert Verhine 5 aplicações no decorrer do ano escolar. As escolas que participaram do Projeto foram definidas a partir de parcerias estado- municípios, celebradas no contexto de um programa de educação maior, prioritário para o Governo do Estado da Bahia, denominado Programa Educar para Vencer. Para a primeira vertente do Projeto, foram aplicadas anualmente, na 4ª e 8ª séries, em um único dia, provas em matemática e português abrangendo, cada uma, 25 perguntas. As aplicações também incluíram questionários direcionados a alunos, professores e diretores, para o levantamento de dados contextuais. Os dados foram analisados utilizando estatísticas sofisticadas, inclusive a Teoria Reposta ao Item (TRI), e os resultados foram divulgados por relatórios formatados diferentemente a depender do seu alvo (escola x SEC/BA). Para que se tenha uma noção da magnitude do trabalho desenvolvido, basta dizer que, em 2001, a vertente englobou 274 municípios, 2.911 escolas e aproximadamente 300.000 alunos. A segunda vertente (avaliação de aprendizagem) foi ainda mais ambiciosa do que a primeira (avaliação de desempenho). Não é possível captar sua complexidade aqui. Resumindo brevemente, nela, provas preparadas pela agência foram aplicadas, de dois em dois meses, pelos professores responsáveis pelas primeiras séries das escolas participantes. Os professores também efetuaram as correções, com base em fichas e orientações padronizadas. Em cada escola, os professores da mesma série foram encorajados a se encontrarem para discutir os resultados obtidos, comparar seus planos de aula, sugerir novas ações e propor remediação. Em algumas unidades escolares, os pais foram envolvidos nesse processo. Considerando que as aplicações aconteceram várias vezes por ano e contemplaram as 1ª e 2ª séries, foi distribuído, só no ano de 2002, um total de 4.169.680 provas. Durante a implementação do Projeto, a UFBA hospedou um site (ainda vigente) com os principais produtos (ver www.ufba.aval.br), incluindo os resultados da avaliação de 2001 e 2002. Em outubro de 2004, o convênio referente ao Projeto de Avaliação Externa foi encerrado. Ao longo de sua existência, os esforços haviam progressivamente se tornado mais difíceis para gerenciar, em consequência do seu tamanho sempre crescente e das profusas regras e regulações impostas pelo Banco Mundial e pelo Governo do Estado da Bahia para utilização dos recursos. Além disso, o tamanho e o custo do Projeto, em conjunto com reações por parte de membros da comunidade acadêmica contra os parceiros institucionais (Banco Mundial e SEC/BA), tornaram controversa a iniciativa no contexto da UFBA. Assim, o Reitor da UFBA, com meu apoio, decidiu não renovar o convênio. O Projeto foi conduzido por consultores independentes até 2007, quando foi concluído pela administração do Governo do Estado da Bahia, recém-eleito. Infelizmente, o Projeto não atingiu plenamente seus objetivos principais, não apenas por causa de seu intempestivo encerramento, mas também porque a SEC/BA, com a mudança de Secretário e temendo que os resultados geralmente desfavoráveis pudessem criar problemas políticos, deixou de divulgar os resultados ao público e raramente os utilizou. Por outro lado, na perspectiva acadêmica, o impacto geral do Projeto de Avaliação Externa foi altamente significativo. Membros da equipe e eu fizemos apresentações, publicamos artigos e aprendemos sobre os meandros da avaliação em larga escala por meio de formação, treinamento e experiência prática. Sinto especial orgulho pelo fato de que, ainda que a maior parte dos membros da equipe não tivesse pós-graduação concluída no início do trabalho na Agência, http://www.ufba.aval.br/ Education Review/Resenhas Educativas 6 hoje um bom número deles tem doutorado e está envolvido com trabalho avaliativo e ou com a comunidade acadêmica. Em consequência direta do Projeto, orientei quatro dissertações de mestrado e cinco teses de doutorado, incluindo três das melhores teses que tive oportunidade de supervisionar. Uma usou a massa de dados para identificar determinantes-chave dos resultados escolares (CASTRO, 2008), outra proveu uma análise detalhada do uso e da utilização dos resultados da avaliação (DANTAS, 2009) e a terceira examinou os processos de negociação entre o Governo Brasileiro e o Banco Mundial (MACHADO, 2007). Três outras consequências valorosas do Projeto, para mim, são dignas de registro. Primeiro, como resultado do meu envolvimento com o projeto de avaliação da SEC/UFBA, fui convidado a tornar-me membro da Câmara de Certificação de Profissionais de Educação do Estado da Bahia. A Câmara havia sido criada através de outro projeto integrante do Programa Educação para Vencer com objetivo de garantir que dirigentes escolares fossem adequadamente qualificados. Tanto diretores como aqueles que aspiravam a serem diretores foram encorajados a se submeter ao processo estruturado de certificação, supervisionado pela Câmara. Eu acreditava fortemente, como ainda acredito, na certificação de dirigentes escolares e, portanto, fiquei muito feliz por contribuir. Contudo, do mesmo modo que aconteceu com o Projeto de Avaliação Externa e outros componentes do Programa Educar para Vencer, a política de certificação de dirigentes escolares na Bahia foi encerrada em 2007. Enquanto a prática de avaliar escolas através da avaliação do desempenho dos seus alunos existe hoje na Bahia através do programa nacional Prova Brasil, a certificação de professores da educação básica nunca foi retomada no estado, deixando esse importante processo de seleção aos ventos do mundo da política partidária. Uma segunda consequência do Projeto de Avaliação da SEC/UFBA foi minha participação em uma pesquisa, com cinco anos de duração, intitulada “Estudo Longitudinal da Geração Escolar 2005”. Dado o sucesso do Projeto de Avaliação Externa, fui convidado a ser o coordenador da pesquisa na cidade de Salvador. Quatro outros municípios foram envolvidos (Rio de Janeiro, Campinas, Juiz de Fora e Campo Grande) e um generoso financiamento foi aportado pela Fundação Ford e pela FAPERJ. A pesquisa propôs o acompanhamento de uma coorte de alunos em um período de quatro anos, durante seus estudos da primeira até a quarta série do ensino fundamental, objetivando identificar as características escolares que maximizam o aprendizado e minimizam o impacto da origem social na aprendizagem nas séries iniciais de estudo. Na Bahia, a pesquisa acompanhou 3.500 alunos de 54 escolas públicas (estaduais e municipais) e privadas. Nacionalmente, os números foram bem maiores, pois no total foram investigados 21.529 alunos de mais de 300 escolas nas cinco cidades consideradas. Dos alunos acompanhados, 10.836 participaram em todos os anos e em todas as aplicações da pesquisa. A equipe da Bahia foi sediada no ISP e, ao todo, era composta de mais de 30 pessoas, entre coordenadores, supervisores e aplicadores. Muitos problemas foram enfrentados, principalmente devido à natureza longitudinal da pesquisa, pois a passagem do tempo gerou mudanças e perdas em termos da composição da amostra-alvo. O grupo da pesquisa se responsabilizou pela capacitação das equipes de outras cidades e, como coordenador, me coube escrever o capítulo sobre a logística para o relatório final. O relatório foi publicado em forma de livro em 2011, disponibilizado em conjunto com um CD contendo todos os dados coletados (BROOKE; BONAMINO, 2011). Além disso, os aspectos metodológicos da pesquisa foram relatados em artigo Legados pedagógicos:Robert Verhine 7 publicado no exterior (VERHINE; BROOKE, 2011). Infelizmente, com o subsequente acúmulo de outras atribuições, não tive o tempo necessário para me debruçar sobre a enorme base de dados que foi construída. Foto: arquivo do autor. De todo modo, minhas ideias sobre a avaliação da educação básica estão sumarizadas em um artigo no qual dois especialistas em avaliação e eu apresentamos respostas a dez questões feitas pelo editor do periódico (ARAÚJO FILHO; COSTA; VERHINE, 2013). Em resposta à questão sobre a complexidade do processo de avaliação, eu defendi três princípios que considero fundamentais. De forma resumida, eles são: (1) professores e gestores que atuam na educação devem ser “alfabetizados” no campo de avaliação, (2) a maioria dos projetos de avaliação deve ser simplificada, tornando-a tecnicamente viável e facilitando sua compreensão e utilização, e (3) os produtos decorrentes de processos avaliativos devem ser comunicados de forma facilmente assimilada pelo público-alvo. A terceira consequência do Projeto de Avaliação Externa foi um convite feito pelo representante da Fundação Ford e por outros envolvidos com a avaliação educacional no Brasil para assumir um papel central na criação de uma associação nacional que agregasse praticantes e acadêmicos atuantes no campo da avaliação. Aceitei o desafio e, trabalhando junto com a coordenadora do Projeto de Avaliação, Lys Dantas, empreendemos um processo nacional para a denominação da associação e a criação de seu estatuto, website e logomarca. Por fim, em encontro realizado em Recife em 2003, foi formalmente constituída a Associação Brasileira de Avaliação Educacional (ABAVE), entidade mencionada no início deste artigo. Eu me tornei membro do Comitê Gestor inicial e participei de um processo de dois anos que resultou no registro legal da Associação e que culminou com a eleição do seu primeiro presidente. A partir daí, a Associação tem sido notavelmente bem sucedida. Ela realiza encontros nacionais a cada dois anos, com boa participação, e tem apresentado inúmeras contribuições para o aprimoramento da avaliação educacional em larga escala no Brasil. Após ter sido por dois mandatos membro do Comitê Científico da ABAVE, fui eleito seu vice- presidente nacional durante dois mandatos, iniciando em 2012 e concluindo em 2016. Foto: Diretoria da ABAVE (acervo do autor). Em 2018, fui eleito novamente como membro do Comitê Científico, posição que ocupo até o presente momento. Após o término deste mandato em 2025, espero continuar a servir a Associação, de alguma Education Review/Resenhas Educativas 8 maneira, visto que acredito que sua importância para a cena acadêmica brasileira seja fundamental. Avaliando a Educação Superior - Graduação Atualmente meu status na ABAVE se baseia muito mais nos meus laços com a avaliação da educação superior que com a avaliação da educação básica. Tive meu primeiro contato com a avaliação da graduação em 1995, quando fui convidado a prestar uma consultoria para o comitê de avaliação estabelecido pela Pró-Reitoria de Graduação da UFBA. O comitê produziu estudos sobre o fluxo de alunos por curso, mas foi logo dissolvido em decorrência de uma combinação de conflitos internos e pressões externas. Observei com pesar a descontinuidade dos esforços da UFBA para institucionalizar ações de autoavaliação nos anos seguintes. Contudo, em 1999, convenci os organizadores do Encontro de Pesquisa Educacional da Região Nordeste (EPEN) a adotarem a avaliação institucional das universidades como tema do seu encontro. Subsequentemente, editei os vários artigos que haviam sido submetidos e apresentados, cujo foco fora o tema principal, e os inclui em um livro que organizei, intitulado Experiências de Avaliação Institucional em Universidades Brasileiras (VERHINE, 2000). No mesmo ano de 1999, a Pró-Reitoria de Graduação da UFBA decidiu novamente dar atenção à avaliação da graduação. Imediatamente ofereci os serviços do ISP à Pró-Reitoria para ajudar a conceituar e a implementar a iniciativa pretendida. A equipe do ISP produziu um documento para embasar e orientar o esforço e assessorou a organização de seminários para sensibilizar a comunidade acadêmica e promover sua participação em processos de autoavaliação. Em 2001, a Pró-Reitoria de Graduação instalou a Comissão Central para a Avaliação de Cursos de Graduação (CEAG). Fui indicado para a presidência da CEAG e, nos dois anos seguintes, a Comissão trabalhou para delinear e implantar um modelo de autoavaliação institucional baseado nos princípios de participação, autonomia e identidade que haviam sido estabelecidos anteriormente pelo Programa de Avaliação Institucional (PAIUB), uma iniciativa do Ministério de Educação (MEC) introduzida em 1993. Cada uma das unidades de ensino da UFBA deveria produzir um relatório de autoavaliação e, para fazê-lo, contaria com aconselhamento, orientação e feedback fornecidos pelos membros da CEAG. Contudo, os resultados globais da iniciativa foram desapontadores. Por volta de 2003, apenas metade das unidades havia produzido os relatórios demandados e, em muitos casos, o nível de qualidade não atingia o esperado. Dada a suposição de que o MEC breve introduziria um novo sistema nacional de avaliação e, consequentemente, imporia novas regras e estruturas avaliativas, a CEAG foi dissolvida no final de 2003, na conclusão de meu mandato como presidente, para esperar novos desenvolvimentos que, de fato, chegaram em 2004, com a aprovação da Lei 10.961 (a chamada Lei do SINAES). Enquanto isso, durante o mesmo período, estive profundamente envolvido em outro esforço avaliativo com foco na graduação. Em 2001, o ISP foi selecionado, dentre vários competidores, para assumir o Polo de Avaliação da Universidade Virtual Pública do Brasil (UniRede). A UniRede foi um consórcio criado em 2000, com apoio do MEC e do MCT, com participação de 62 universidades públicas. À época, a educação a distância por internet estava dando seus primeiros passos no Brasil e a UniRede representava um esforço para promoção da modalidade emergente, por meio de, coletivamente, prover orientação técnica e fomentar iniciativas colaborativas Legados pedagógicos:Robert Verhine 9 de Educação a Distância (EAD) entre as universidades participantes. A Rede era administrada por cinco polos, cada um situado em uma instituição diferente e com função distinta. O Polo de Avaliação era um dos cinco e tinha a responsabilidade de desenvolver instrumentos e conduzir avaliações para assegurar a qualidade dos produtos e serviços oferecidos pela internet pela Rede. Ao prestar estes serviços, o ISP se viu engajado em um trabalho pioneiro, vez que conhecimentos teóricos relevantes, informações sobre outras avaliações EAD e modelos operacionais já testados não estavam disponíveis no contexto brasileiro. Em três anos, a equipe do ISP desenvolveu arcabouços conceituais, identificou e validou possíveis indicadores avaliativos, e elaborou instrumentos para análise dos insumos, processos e produtos de determinados programas baseados na EAD. Em 2002, o ISP teve oportunidade de aplicar os recém-criados instrumentos e procedimentos, em resposta à solicitação do Comitê Gestor da UniRede, para avaliar quatro cursos oferecidos independentemente por universidades consorciadas. A experiência de avaliação foi bem sucedida de acordo com os envolvidos, mas, estranhamente, o Comitê Gestor nunca utilizou os resultados e nunca requereu do ISP a condução de outra avaliação. Na verdade, a UniRede e seu Comitê Gestor foram vítimas de intensas rivalidades entre as instituições participantes e, consequentemente, foram incapazes de funcionar adequadamente durante os anos iniciais de sua existência. Em 2004, a Rede decidiu alterar seus arranjos administrativos e os cinco Polos foram desativados. Para mim e para o ISP, contudo, a experiência com a UniRede foi valorosa. Aprendemos sobre um aspecto da educação que era pouco entendido e descrevemos nossa experiência por meio de duas publicações (VERHINE; ARAÚJO, 2002; 2005). Em 2004, fui convidado a coordenar um grupo no ISP responsável pela elaboração de um plano estratégico de EAD para a UFBA e, em 2006, fui designado pela Universidade para ser seu primeiro coordenador do Programa Universidade Aberta do Brasil (UAB), criado pelo MEC para ofertar cursos de licenciatura a distância para professores de redes públicas do interior do Estado. Estes esforços ajudaram a pavimentar o caminho para implantação, em 2012, da Superintendência de Educação a Distância da UFBA, que ainda hoje está alocada em um espaço que antes pertenceu ao ISP. Em 2004, um novo capítulo se abriu para mim relativo à avaliação da graduação. O Banco Mundial me solicitou uma avaliação do recentemente instituído Exame Nacional de Desempenho do Estudante (ENADE) em relação ao exame que se propôs a substituir, ou seja, o Exame Nacional de Cursos (o Provão). A manutenção do Provão ou “algo equivalente” foi uma precondição estabelecida pelo Banco Mundial para que o Brasil pudesse receber certos empréstimos. Assim, o Banco buscava saber sobre (1) as diferenças e similaridades entre o ENADE e o Provão, (2) os níveis de “integridade técnica” dos dois exames, e (3) como melhorar a qualidade do ENADE. Para atender ao pedido, convidei Lys Dantas para trabalhar comigo (de novo) e, em conjunto, produzimos um relatório que analisou o ENADE tecnicamente e comparativamente, focalizando a elaboração e aplicação dos instrumentos, a análise dos dados, a comunicação e divulgação dos resultados e os custos operacionais (BANCO MUNDIAL, 2005). Para avaliar as estatísticas utilizadas, solicitamos o auxílio do Prof. José Francisco Soares, um dos maiores especialistas no Brasil sobre a análise quantitativa de dados. Nossa conclusão foi que, de maneira geral, o ENADE manteve a integridade técnica do Provão e supriu algumas das deficiências do exame anterior. Por outro lado, o ENADE também apresentou fragilidades marcantes, tais Education Review/Resenhas Educativas 10 como a não adoção de critérios preestabelecidos, a não utilização de processos de pré-testagem, a não mensuração adequada do valor agregado do curso e a não contemplação de um número suficiente de questões. Ao propor recomendações para sua melhoria, enfatizamos a necessidade de aperfeiçoar o ENADE constantemente e a importância de assegurar a utilização dos resultados por ele gerados. O relatório foi subsequentemente divulgado, em versão reduzida, através de um artigo publicado em revista respeitada (VERHINE, DANTAS & SOARES, 2006). O trabalho tem sido amplamente citado e, segundo informações informalmente recebidas, ajudou a provocar algumas mudanças nos aspectos técnicos do ENADE, especialmente em relação à forma de aplicar determinadas técnicas estatísticas. Minhas investigações sobre o ENADE em conjunto com outras atuações no campo da avaliação chamaram a atenção de autoridades do MEC e, em 2007, fui designado pelo Ministro de Educação como membro da Comissão Nacional de Avaliação de Educação Superior (CONAES), na categoria de “notório saber”. A CONAES, de acordo com a já mencionada Lei 10.861, é órgão responsável pela coordenação e supervisão do Sistema Nacional de Avaliação da Educação Superior (SINAES) e é composta de 13 integrantes, dentre dos quais cinco são representantes do MEC, três são representantes de segmentos universitários (docente, discente e técnico- administrativo) e cinco são especialistas (notórios saber) na avaliação ou gestão da educação superior. Os membros trabalham sem remuneração, se reúnem em Brasília pelo menos uma vez por mês e assumem responsabilidade pelo estabelecimento de diretrizes a serem implementadas pelo INEP, referentes à concepção e à operacionalização do SINAES. Na época na qual fui empossado, o SINAES não estava funcionando de forma integral. O ENADE estava sendo aplicado anualmente, mas as visitas para avaliar cursos e instituições in loco não estavam acontecendo com regularidade. A demora foi decorrente de uma série de desafios até então não superados, pois avaliadores precisavam ser capacitados, instrumentos de avaliação tiveram que ser formulados e a estrutura logística teve que ser montada de modo a contemplar visitas para todas as instituições e todos os cursos de nível superior que integravam o sistema federal de educação. Enquanto isso, as instituições não recebiam o retorno esperado referente a seus relatórios de autoavaliação, obrigatoriamente encaminhados ao MEC em 2006, e, ainda pior, o ENADE, por ser já implantado, estava assumindo a centralidade que marcava a época do Provão e que os que conceberam o SINAES pretendiam apagar. Assim, após minha entrada para a CONAES, argumentei que precisava trazer o foco da Comissão para a obtenção da plena operação do SINAES. Ressaltei que as piores avaliações são aquelas que não funcionam, vez que a inércia mina a legitimidade da iniciativa e cria uma abertura para que oponentes (sempre existentes) possam frustrá-la. Avaliações nunca são perfeitas e, portanto, precisam de constante melhoramento e refinamento, mas, se nunca são implementadas, tendem a desaparecer. Outras pessoas envolvidas, dentre as quais o Ministro da Educação e o Presidente do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), adotaram uma postura similar e, dentro de um ano, os três componentes do SINAES haviam sido implantados. Participei intensamente em duas decisões- chave que a CONAES, em conjunto com o INEP, tomou para facilitar a operacionalização. Uma das decisões foi formular o Conceito Preliminar de Cursos (CPC), um índice de qualidade de cursos construídos a partir de dados já disponíveis Legados pedagógicos:Robert Verhine 11 no MEC. Sua aplicação resulta na atribuição de conceito (de 1 a 5) para os cursos no sistema e apenas aqueles com um conceito insatisfatório (1 ou 2) são visitados obrigatoriamente. Como consequência, somente aproximadamente 25% dos cursos têm que ser visitados, o que torna alcançável o número total de visitas que precisam ser realizadas por ano. A segunda decisão fundamental disse respeito à criação de outra medida, denominada Índice Geral de Cursos da Instituição (IGC). Esse representa a média ponderada dos conceitos obtidos por todos os cursos de graduação e de pós-graduação da instituição e foi estabelecido para referenciar os resultados das avaliações efetuadas pelas comissões de visita. A dita referência foi considerada importante pela CONAES, pois os resultados das avaliações in loco eram, em muitos casos, inflacionados devido ao fato de que, em geral, os avaliadores eram inexperientes, passavam poucos dias na instituição visitada e/ou foram influenciados pelo tratamento dado pela IES durante a avaliação. Dessa forma, o IGC introduziu no contexto do SINAES algo que sempre defendo no caso de avaliações em larga escala – sua objetivação. Fonte: acervo do autor. Ao todo, fiquei mais de seis anos na CONAES (de agosto de 2007 a dezembro de 2013) e atuei como seu Presidente durante dois mandatos anuais. No decorrer deste período, muitas outras decisões significativas foram tomadas. Incluídas entre as que eu defendi mais fortemente foram a substituição do ENADE- Ingressante pelo Exame Nacional do Ensino Médio (ENEM) e a formulação de um novo instrumento para avaliar instituições. Além disso, com o passar do tempo, as condições de trabalho da CONAES melhoraram bastante, pois a Comissão ganhou espaço próprio e conseguiu a lotação de funcionários de bom nível (embora em número pequeno). Por outro lado, algumas metas valorizadas por mim como Presidente não foram alcançadas. Não conseguimos envolver, de forma integral, os estados no SINAES (apesar de extensas negociações); não promovemos, suficientemente, o fortalecimento da autoavaliação institucional (apesar da realização de diversos seminários a respeito); e não determinamos processos adequados para a avaliação de cursos ofertados à distância. Além disso, a relação entre os processos de avaliação e os de regulação nunca ficou claramente delineada, criando alguns conflitos e distorções não desejados, porém complexos demais para discussão aqui. Um dos aspectos mais prazerosos de atuar como Presidente da CONAES foi a oportunidade de representar o Brasil internacionalmente, em quatro diferentes ocasiões. Viajei duas vezes a Cabo Verde, com outros associados à CONAES e ao INEP, para promoção de uma colaboração envolvendo a provisão de assistência técnica brasileira para a criação, em Cabo Verde, de um sistema de avaliação nacional da educação superior. Education Review/Resenhas Educativas 12 Fonte: acervo do autor. As duas outras visitas internacionais foram feitas à sede do MERCOSUL em Montevideo, Uruguai, para participação em encontros de gestores do ARCU-SUL, um programa envolvendo oito países latino- americanos para a acreditação de programas de graduação em Agronomia, Arquitetura, Odontologia, Medicina, Enfermagem, Engenharia e Veterinária. Estas reuniões foram tensas, em parte porque, enquanto alguns países desejavam que a acreditação valesse como validação automática dos diplomas emitidos pelos cursos avaliados, para todos os países membros, outros – e mais notadamente o Brasil – pensavam a acreditação como um “selo de excelência”, sem implicações legais. A posição brasileira, que também defendi, era a de que os processos concernentes à validação de diplomas obtidos no exterior devem ser realizados de acordo com a legislação brasileira e, portanto, não pode estar submetida a decisões tomadas externamente pelo MERCOSUL. Do lado acadêmico, publiquei diversos artigos sobre aspectos do SINAES, abordando, por exemplo, o andamento do ENADE (VERHINE; DANTAS, 2009a), a formulação e relevância dos indicadores desenvolvidos pela CONAES (VERHINE, 2010), a relação do SINAES com tendências internacionais de avaliação (VERHINE; FREITAS, 2012) e a tensão, no âmbito do SINAES, entre avaliação e regulação (VERHINE, 2015). A partir de meus estudos realizados em 2016 como Visiting Scholar do Lemann Center, na Stanford University, produzi mais sete publicações relevantes. Duas delas propuseram aperfeiçoamentos no sistema e defenderam o fortalecimento do componente que trata da autoavaliação institucional (VERHINE, 2018; VERHINE; DANTAS, 2021). A terceira sugeriu políticas específicas para a avaliação de instituições com fins lucrativos (VERHINE; DANTAS, 2020b) e outras duas delinearam uma comparação entre a avaliação do SINAES e a avaliação de educação superior realizada nos Estados Unidos (VERHINE, 2021; 2022). Finalmente, mais duas publicações, divulgadas através de veículos norte- americanos, descreveram para a comunidade internacional as complexas estruturas para a regulação e avaliação da educação superior existentes no Brasil (VERHINE; DANTAS, 2018; 2020a). De igual modo, meus orientandos produziram oito teses de doutorado sobre a avaliação de educação superior e, além disso, publicaram, no seu conjunto, vários artigos a respeito do tema. Assim, eu considero que minha contribuição para a avaliação da graduação é maior do que no caso da educação básica, porem em termos do seu impacto direto, acho que minha participação na avaliação da pós-graduação no Brasil é mais significativa ainda. Avaliando a Educação Superior – Pós- Graduação Embora tratado no final desse texto, comecei a atuar na avaliação da educação pela pós-graduação, o que não é surpreendente, dado que, no Brasil, avaliações em larga escala da pós- graduação precederam, pelo menos em uma década, aquelas da graduação. Meu primeiro contato direto com a avaliação nacional da pós-graduação no Brasil ocorreu em Salvador em 1979, dois anos após minha chegada na UFBA como professor visitante. A CAPES foi Legados pedagógicos:Robert Verhine 13 responsabilizada pela avaliação de programas de pós-graduação em 1976, mas inicialmente ponderou a entrega do processo avaliativo para associações nacionais de programas de pós-graduação, cujos aparecimento e consolidação a agência vinha fomentando desde os meados dos anos 70. Muito provavelmente essa estratégia sofreu alguma influência do modelo norte-americano de avaliação da educação superior, baseado em organizações não governamentais. Uma das primeiras associações dessa natureza no Brasil foi a Associação Nacional de Pós- graduação e Pesquisa em Educação – ANPED, formalmente instituída em 1978. Em seu primeiro ano de existência, à ANPED foi requerido que formulasse um modelo de avaliação que várias associações pudessem posteriormente implementar para avaliar seus membros. No referido encontro em Salvador, o modelo (proposto por Amélia Goldberg, dentre outros autores) foi apresentado. Tanto o modelo quanto a ideia de que a ANPED assumiria a avaliação dos cursos de pós-graduação em educação foram calorosamente discutidos e rejeitados pela maioria dos presentes. Essa talvez tenha sido uma das mais importantes decisões jamais tomadas na história da ANPED, visto que impactou significativamente o seu desenvolvimento tanto quanto o da CAPES. A Associação ficou livre para advogar em favor dos programas-membros, ao passo que a CAPES tomou para si a avaliação dos cursos de pós-graduação como uma de suas principais responsabilidades, criando a Diretoria de Avaliação e alocando parte de seu orçamento para as atividades avaliativas. Eu não reconhecia na época sua relevância histórica e nem imaginava que, posteriormente, iria participar, de forma bastante ativa, de uma quantidade enorme de discussões sobre a CAPES e seu processo avaliativo. Fonte: Consultores da CAPES 2019 (acervo do autor). Para resumir brevemente aqui, fui membro do Comitê Assessor da Área de Educação durante cinco ciclos avaliativos, dois bienais (1994-1995; 1996-1997), dois trienais (2001-2003; 2004-2006) e o quadriênio 2017-2020. Quanto ao ciclo 2004-2006, assumi, no período 2005 a 2007, a função de Representante (hoje Coordenador) da Área e fui membro do Conselho Técnico Cientifico (CTC-ES) da CAPES. Mais de uma década depois, assumi essas mesmas duas funções de novo, desta vez durante quatro anos e oito meses, de abril de 2018 a dezembro de 2022. Ao longo dos anos, tenho participado de visitas de avaliação a mais de 50 programas e sido membro de um número de comissões especiais de avaliação, incluindo aquelas designadas para julgar propostas para a criação de agências de avaliação, para o investimento em educação à distância, e para projetos a serem desenvolvidos no âmbito do Observatório da Educação da CAPES/CNPq. Participei duas vezes do comitê de seleção da melhor tese para a Área de Ciência Social / Humanidades / Letras / Artes e, em 2009, liderei um grupo estabelecido para examinar a proposta da Enciclopédia Britânica de criar uma enciclopédia especial, em Português, voltada para estudantes da educação básica. Education Review/Resenhas Educativas 14 Como Representante de Área e membro titular do CTC-ES da CAPES no período 2005-2007, defendi certo número de posições controversas que, ao final, se tornaram amplamente aceitas, dentre as quais a introdução do item “inserção social” como dimensão da avaliação, a promoção de maior integração entre pós-graduação e educação básica, e a incorporação do mestrado profissional (MP) na Área de Educação. Minha defesa do MP foi especialmente polêmica porque, à época, nenhum programa profissional existia na Área devido a sua ampla rejeição pelos membros de sua comunidade acadêmica. Dentre os argumentos contrários ao MP estavam que o mesmo proporcionaria um título de segunda categoria, que o campo da educação era eminentemente acadêmico, e que a formação profissional para atuação na educação básica era adequadamente oferecida por cursos de especialização. Em meus contra-argumentos, salientei que: 1) aqueles que desejavam dedicar suas carreiras à educação básica tinham dificuldades em ter acesso ao mestrado acadêmico, 2) os conteúdos de mestrados acadêmicos estavam frequentemente distantes da prática escolar, 3) cursos de especialização não podiam ser considerados substitutos para o MP visto que as duas modalidades não são comparáveis quanto ao controle de qualidade e à profundidade dos conteúdos de aprendizagem, 4) o papel do mestrado acadêmico, com sua ênfase em pesquisa e foco na atuação na educação superior, deveria ser preservado para os que querem se dedicar a tais atividades, e 5) o MP tem, de fato, natureza acadêmica, considerando que acontece no contexto da educação superior institucionalizada. Desenvolvi e defendi estes argumentos em um artigo sobre a política da CAPES (VERHINE, 2006). Em sua conclusão, declarei: Acho possível desenvolver MPs de maneira a complementar os Mestrados Acadêmicos existentes, cada qual atendendo a demandas distintas, de maneira integrada e cooperativa. Em outras palavras, um MP aceitável no campo da educação estaria ligado a um programa já existente de forma a, ao mesmo tempo, fortalecê-lo e diversificá-lo. (p. 33) Ninguém ficou mais satisfeito que eu quando, em 2009, o primeiro mestrado profissional em educação foi aprovado pela CAPES. Foi baseado no modelo que eu havia defendido, no qual havia complementaridade entre o profissional e o acadêmico dentro de um único programa. Muitos anos depois, em 2020, publiquei com o saudoso colega Luiz de Souza Junior uma análise da situação dos cursos profissionais na Área de Educação, destacando o crescimento da modalidade (já havia 50 programas na época) e a variedade da oferta em termos de focos de especialização. Observamos a contribuição de tais programas para a formação de professores e analisamos as possibilidades e limitações do doutorado profissional, então uma novidade em fase de experimentação, sendo que o primeiro curso desse tipo foi implementado em 2019 (SOUZA JUNIOR; VERHINE, 2020). Após a conclusão, no final de 2007, do meu mandato como Representante da Área, eu mantive contato constante com a CAPES, primeiro como Diretor Científico da Fundação de Amparo à Pesquisa do Estado da Bahia (2007-2009) e depois como Pró-Reitor de Pós-Graduação da UFBA (2010-2014). Durante esse período, eu tive oportunidade para expressar minhas críticas e sugestões a respeito da avaliação da pós-graduação em diversos contextos formais. Por exemplo, em 2008 coordenei o comitê especial do CTC/CAPES, criado para refinar os aspectos padronizados da ficha de avaliação. Ao fazer as recomendações para o CTC, o comitê especial apresentou uma importante contribuição ao propor que a nota do programa fosse fundamentada no seu “perfil geral”, em lugar da soma ponderada de todas as escalas. Assim, na opinião do comitê, para atingir uma determinada nota, um programa deveria obter um resultado Legados pedagógicos:Robert Verhine 15 mínimo em dimensões-chave. Para dar um exemplo, o comitê recomendou que um programa que tivesse recebido “REGULAR” (equivalente à nota 3) no quesito “PROPOSTA” nunca deveria receber uma nota geral superior a 4 (equivalente a BOM). O CTC aprovou formalmente o uso da abordagem do “perfil”, mas não a implementou imediatamente. Ela passa a ser utilizada, no entanto, a partir das avaliações conduzidas em 2013 e ainda atualmente ainda está em vigor. Uma segunda ocasião formal relevante trata da minha participação como membro de uma segunda comissão especial, essa para refletir sobre a avaliação da CAPES, que foi instalada pela CAPES em 2015. O relatório final, concluído em 2016, apresentou à Agência muitas sugestões, mas duas delas eram resultado direto de contribuições especificamente minhas. Uma dessas era a proposta para simplificar a ficha de avaliação, reduzindo os cinco quesitos vigentes para apenas três, focalizando (1) o programa, (2) a formação e (3) o impacto do programa. Em defesa da nova estrutura, argumentei que ela aproxima o modelo clássico de avaliação, por considerar, concomitantemente, insumos (programa), processos (formação) e resultados (impacto). A segunda recomendação fortemente defendida por mim era para valorizar a autoavaliação de programas como elemento da avaliação externa da CAPES. Essa sugestão, já feita no meu artigo de 2008, foi baseada nos procedimentos utilizados em muitos países (inclusive os EEUU) e também no modelo do SINAES, discutido acima. No período 2018-2022, assumi, pela segunda vez, o trabalho de Coordenador da Área e membro titular do CTC-ES da CAPES, desta vez referente ao quadriênio 2017-2020. O trabalho foi mais complicado do que o esperado, em parte por causa da pandemia, que se instalou a partir de março de 2020, e em parte devido à judicialização da avaliação da CAPES, a partir de uma ação do Ministério Público Federal (MPF) que resultou em decisão judicial para suspender o andamento do processo avaliativo durante 10 semanas, no final do ano de 2021. Na época, detalhei a lógica apresentada pelo MPF e a defesa da CAPES em artigo sobre a judicialização escrito com Ângelo Souza, Coordenador Adjunto da Área (VERHINE; SOUZA, 2021). Outros fatores complicadores eram a quantidade grande de programas a serem avaliados, que passou de 78 programas avaliados na minha primeira coordenação para 188 programas analisados na minha segunda, e as muitas mudanças no processo avaliativo aprovadas pela CTC-ES durante o quadriênio em questão. Como membro do CTC-ES, participei ativamente na formulação e na implementação das referidas mudanças, muitas das quais partindo de demandas da Área de Educação e de recomendações apresentadas em 2016 pela comissão especial, acima mencionada. Nesse sentido, participei do grupo de trabalho (GT) que criou uma nova ficha de avaliação, reduzindo o número de quesitos e itens a serem examinados, priorizando a análise qualitativa dos indicadores, dando destaque aos produtos mais importantes do programa e colocando a “formação discente” como o elemento central de um curso de pós- graduação. Além disso, fui designado pelo CTC-ES para coordenar quatro grupos de trabalho, tratando, respectivamente, da autoavaliação no contexto da avaliação da CAPES, da equivalência entre os conceitos e as notas historicamente atribuídos pela Agência e, através de dois GT distintos, da concepção e da avaliação de cursos de pós- graduação a distância. Além disso, fiz parte da comissão do CTC-ES responsável por sistematizar a posição do Conselho em relação às críticas expressas na ação judicial do MPF. Eu considero minhas contribuições durante meu segundo mandato como Coordenador da Área de Educação entre as mais importantes da minha carreira, pois pude aproveitar, de Education Review/Resenhas Educativas 16 forma propositiva, minhas experiências com a pós-graduação e minhas aprendizagens no campo de avaliação, acumuladas no decorrer do meu tempo como professor universitário. É importante enfatizar que, apesar de meu entusiasmo pelo trabalho da CAPES, tenho também expressado críticas sobre ele em diversos artigos publicados (VERHINE, 2006; 2008; VERHINE & DANTAS, 2009b). No artigo de 2008, por exemplo, apresentei a história do desenvolvimento do modelo e a relacionei às tendências internacionais de avaliação. Argumentei que, apesar do seu sucesso, o modelo precisaria ser alterado em um futuro próximo face a quatro fatores-chave: (1) o crescimento do sistema nacional de pós-graduação, (2) as imensas disparidades na oferta de pós-graduação dentro e entre as regiões brasileiras, (3) a criação do Sistema Nacional de Avaliação de Educação Superior e (4) as influências e pressões oriundas da comunidade internacional de avaliação. Diante da situação retratada, conclui o artigo discutindo e justificando sete recomendações para a modificação do modelo, quais sejam: (1) aumento do intervalo entre avaliações, (2) simplificação da coleta de dados, (3) simplificação da ficha de avaliação, (4) intensificação das visitas por avaliadores externos, (5) valorização do processo de autoavaliação pelo programa, (6) simplificação (ou até eliminação) da escala avaliativa e (7) desvinculação dos resultados da avaliação do financiamento dos programas. Hoje observo que as recomendações numeradas 1, 3 e 5 já foram implementadas. A segunda e quarta estão sendo seriamente consideradas, mas as duas últimas requerem modificação de aspectos fundamentais do arcabouço existente e provavelmente não serão adotadas tão cedo (se é que em algum dia). A meu ver, uma das minhas principais contribuições para o modelo de avaliação da CAPES diz respeito a meus esforços para objetivar o processo pela criação, para cada item avaliado, de indicadores medidos por escalas, com regras claras para a classificação das informações disponibilizadas. Antes de 1998, indicadores e escalas eram raramente utilizados na CAPES e, em consequência, os processos avaliativos eram altamente subjetivos e pouco transparentes. Fui um dos quatro professores que se encontraram em 1998 para definir, pela primeira vez, indicadores mensuráveis e suas escalas correspondentes para a Área de Educação. Nos anos seguintes, contribui para refinar e aumentar o número de tais indicadores e escalas. Como Representante para a Área de Educação (2005 – 2007), fui convidado por outras áreas para fornecer orientações relacionadas ao desenvolvimento de indicadores e escalas, deste modo influenciando o processo de avaliação da CAPES como um todo. Claro que o valor de minha contribuição pode ser questionado, vez que muitos acreditam que o uso de indicadores e escalas, pela CAPES, tem tornado as avaliações excessivamente quantitativas, orientadas pela mensuração técnica da produtividade. Muitos defendem, há muito tempo, uma abordagem mais qualitativa, que capture os verdadeiros significados e as tendências subjacentes. Em resposta, pontuei que muitos itens ainda são avaliados qualitativamente, mas que a abordagem quantitativa, de forma geral, é mais apropriada, vez que as avaliações da CAPES são atualmente de larga escala, por abranger mais de 4.600 programas. Argumentei que, nestas circunstâncias, análises qualitativas profundas, baseadas na intersubjetividade, não são exequíveis. A necessidade de lidar, de maneira eficaz, com uma quantidade maciça de dados, em conjunto com a importância de apresentar resultados avaliativos que sejam replicáveis, transparentes e facilmente compreensíveis tornam a abordagem quantitativa, de modo geral, a mais Legados pedagógicos:Robert Verhine 17 adequada para o modelo que a CAPES tem adotado. Porém, a partir de 2018, minha postura em relação ao debate quantitativo/qualitativo se alterou. Ouvindo os argumentos dos colegas da Área de Educação e a posição adotada por muitos dos membros do CTC-ES no período 2018- 2022, passei a defender a utilização, com maior frequência, de indicadores qualitativos. Em 2019, alteramos a ficha da Área de Educação, para ter dois-terços dos seus indicadores de natureza qualitativa, quando nas fichas anteriores o formato era inverso, com dois-terços do tipo quantitativo. Mudei minha visão por acreditar na possibilidade de “objetivar” o qualitativo, através do uso de critérios claramente definidos, capazes de distinguir, de forma transparente, entre os diferentes graus da escala avaliativa. Em conjunto com os outros membros da minha coordenação e também com alguns consultores com conhecimentos aprofundados sobre avaliação, estabelecemos critérios para cada um dos 32 indicadores qualitativos da ficha, buscando as condições clássicas de objetivação, ou seja, a necessidade de serem realísticos, compreensíveis, replicáveis, comparáveis, sem ambiguidade, facilmente monitorados e registrados e capazes de produzir dados contextualizados de alta qualidade. Sendo que produzimos tais critérios antes do final do quadriênio, eles serviram para orientar os programas da Área no preenchimento do seu relatório anual. Nosso exemplo foi aproveitado por diversas outras Áreas da CAPES, pois poucos dos coordenadores da época tinham experiência com processos de objetivação qualitativa. De fato, uma recente revisão dos relatórios da avaliação quadrienal de todas as 49 Áreas revelou que a grande maioria não buscou, nem minimamente, tal objetivação. Uma outra contribuição minha em relação à avaliação da pós-graduação brasileira trata da valorização pela CAPES da autoavaliação de programas. Como membro do CTC-ES, eu tive oportunidade de participar como membro do GT responsável por criar uma nova ficha e como coordenador do GT responsável pela conceituação da autoavaliação. Os relatórios dos dois GTs recomendaram a inclusão da autoavaliação como item (com peso) na nova ficha. Em minha opinião, a autoavaliação representa o futuro da avaliação, especialmente diante do crescimento no número e na variedade de programas de pós-graduação em funcionamento. A autoavaliação serve para contextualizar a avaliação, consegue lidar com a avaliação de processos (e não apenas produtos) e, ao aproximar o avaliador do avaliado, aumenta a probabilidade do uso dos resultados gerados. Em conjunto com outros membros do GT sobre autoavaliação, publicamos um artigo que divulga as ideias e as recomendações do grupo (LEITE; VERHINE; DANTAS; BERTOLIN, 2020). Finalmente, em relação à avaliação da CAPES, acho importante apontar o trabalho de dois GTs que coordenei, responsáveis por conceituar e operacionalizar a avaliação de cursos de pós-graduação na modalidade a distância. Meu interesse na educação a distância é fruto do meu trabalho com a avaliação da graduação, como Diretor do ISP e como membro da CONAES. Com a publicação do Portaria 90/2019, a CAPES, pela primeira vez, regulamentou a oferta de pós-graduação a distância, estabelecendo condições para a entrada e permanência de programas nessa modalidade. Como consequência, e por instigação minha, o CTC-ES criou o chamado GT-EAD, sob minha coordenação, para estabelecer critérios a serem utilizados na avaliação de propostas de cursos novos na referida modalidade. Após seis meses de trabalho, o GT concluiu seu relatório em outubro de 2019 e os critérios por ele sugeridos foram aplicados na avaliação das propostas até então encaminhadas, realizada através de uma comissão ampla que eu também Education Review/Resenhas Educativas 18 coordenei. Nenhuma proposta foi aprovada, em parte porque os pleiteantes não tinham clareza sobre as especificidades de um curso a distância ao nível de pós-graduação. Muitos proponentes fizeram o engano de achar que o curso a distância na pós- graduação poderia ser modelado a partir de cursos de graduação a distância já existentes. Outros entenderam, erroneamente, que um curso presencial, ofertado através de videoconferência, se qualificava para ser um curso a distância. Assim, quando uma nova chamada para propostas de cursos a distância foi divulgada no final de 2021, eu convenci a Presidente da CAPES a criar um segundo GT-EAD, sob minha coordenação, para melhor conceituar as especificidades da modalidade e para orientar a construção de propostas de cursos novos no formato EaD potencialmente aprováveis. O trabalho do GT-EAD de 2022 levou 10 meses para concluir sua tarefa, durante os quais foi realizada ampla divulgação de orientações variadas, via diversos meios (inclusive um vídeo de 30 minutos por mim narrado). Nossa esperança é que o relatório final do grupo, de mais de 50 páginas, seja aproveitado no futuro, para assegurar que os cursos de EaD a serem eventualmente ofertados sejam de qualidade compatível com a exigida de cursos presenciais. Apesar de reconhecer as limitações inerentes à modalidade, eu defendo sua presença no cenário da pós-graduação no país, pois pode servir como instrumento para capilarizar a oferta de cursos entre os que, por razões de natureza geográfica, não têm acesso a programas presenciais. Como no caso do MP no passado, a EaD de hoje representa uma novidade polêmica, mas, na medida em que sua qualidade é assegurada por processos de avaliação interna e externa cuidadosamente elaborados, suas vantagens superam suas limitações, na minha opinião. Considerações Finais Ao concluir esse relato, em março de 2023, estou embarcando em dois novos desafios no campo da avaliação, participando da Comissão responsável pela elaboração do Plano Nacional de Pós-Graduação 2021- 2030 e também assumindo a coordenação da Comissão de Autoavaliação do PPGE/UFBA. Nessas duas atribuições, estou defendendo fortemente o papel da autoavaliação como o elemento central do futuro da avaliação em larga-escala, qualquer que seja o nível de educação em foco. Conforme o relatado, entrei no campo da avaliação com base em estudos na área da economia e na pesquisa de natureza quantitativa. Dessa forma, fui atraído para a operacionalização de avaliações em larga escala, desenvolvidas nos âmbitos de agências nacionais, como o INEP e a CAPES, nos quais a estatística sofisticada e a distância do avaliador em relação ao objeto avaliado são priorizadas. Porém, como indicado acima, a autoavaliação permite contextualização, a captação de processos como o da formação e a boa probabilidade de que os achados sejam aproveitados para decisões de melhoria. Foto: acervo do autor. Legados pedagógicos:Robert Verhine 19 Na medida em que os sistemas ficam cada vez maiores, a confiabilidade das avaliações externas fica cada vez mais duvidosa. Porém, para ter sucesso, a autoavaliação tem que ser “cultivada”, através de órgãos centrais que forneçam orientações e incentivos necessários para a criação e o fortalecimento de uma cultura na qual a autoavaliação possa prosperar. Esse modelo já é fortemente estabelecido em muitos países, incluindo os Estados Unidos e Grã-Bretanha. Nesses países, as visitas de comissões externas, organizadas por entidades governamentais e não governamentais, têm como sua finalidade a avaliação da autoavaliação, considerando elementos tais como procedimentos, instrumentos, regularidade de aplicação, participação por membros da comunidade e o uso dos resultados gerados. A suposição que sustenta essa forma de avaliação é que uma autoavaliação bem desenvolvida representa a estratégia melhor para assegurar e também para promover a qualidade da oferta no contexto da instituição educacional, seja ele escolar, seja ele universitário (ALDERMAN; BROWN, 2005; BRENNAN; SHAH, 2001) Alguns anos atrás, ao concluir meu Memorial para Professor Titular, afirmei que gostaria de acreditar que minha jornada ainda estava incompleta e terminei com as palavras do poeta famoso Robert Frost: I have promises to keep, And miles to go before I sleep1 Acho que a frase ainda se aplica. Com o desafio de promover a autoavaliação na minha frente, meu momento para descansar ainda não chegou. 1 Em português, “Mas tenho promessas a cumprir, Andar milhas a fio antes de dormir”. Robert Frost, “Stopping by Woods on a Snowy Evening” from The Poetry of Robert Frost, edited by Edward REFERÊNCIAS ALDERMAN, G.; BROWN, R. Can quality assurance survive the market: accreditation and audit at the crossroads, Higher Education Quarterly, v. 59, n. 4, p. 313-328, 2005. ARAÚJO FILHO, H.; COSTA, L.C.; VERHINE, R.E. Avaliação da educação básica: versões e projetos. Retratos da Escola, 7 (12), p. 11-25, 2013. BANCO MUNDIAL Avaliação da educação superior no Brasil: do Provão ao ENADE. Brasília, Banco Mundial (Relatório não publicado), 2005 BRENNAN, J.; SHAH, T. Managing quality in higher education: an international perspective on institutional assessment and change. Buckingham: OECD, SRHE and Open University Press, 2001. BROOKE, N.; BONAMINO, A. (orgs.) Razões e resultados de uma pesquisa longitudinal sobre eficácia escolar. Rio de Janeiro: Walprint, 2011. CASTRO, R.F. Eficácia e equidade em escolas públicas da Bahia. Tese de Doutorado em Educação, Universidade Federal da Bahia, 2008. DANTAS, L.M.V. As contribuições da política de avaliação educacional em larga escala: o caso da avaliação de aprendizagem na Bahia. Tese de Doutorado em Educação, Universidade Federal da Bahia, 2009. GOVERNO DO ESTADO DA BAHIA, Secretaria da Educação e Cultura, Instituto Anísio Teixeira. Evasão, Evasão, Repetência e Distorção Idade-Série: um estudo de campo sobre causas e soluções Connery Lathem. Copyright 1923, © 1969 by Henry Holt and Company, Inc., renewed 1951, by Robert Frost. Tradução livre: Stopping By Woods On A Snowy Evening – from the notepad (wordpress.com) https://fromthenotepad.wordpress.com/2015/08/05/traducao-livre-stopping-by-woods-on-a-snowy-evening/ https://fromthenotepad.wordpress.com/2015/08/05/traducao-livre-stopping-by-woods-on-a-snowy-evening/ Education Review/Resenhas Educativas 20 em escolas do primeiro grau do Estado da Bahia. Salvador: SEC/BA, 1985a. GOVERNO DO ESTADO DA BAHIA, Secretaria da Educação e Cultura, Instituto Anísio Teixeira. Identificação de medidas corretivas da distorção entre idade e série no ensino do primeiro grau. Salvador: SEC/BA, 1985b GOVERNO DO ESTADO DA BAHIA, Secretaria da Educação e Cultura, Instituto Anísio Teixeira. Possíveis medidas de redução dos índices de evasão e repetência no ensino do primeiro grau. Salvador, SEC/BA, 1985c. GOVERNO DO ESTADO DA BAHIA, Secretaria da Educação e Cultura, Instituto Anísio Teixeira. Evasão, repetência e distorção idade-série: um estudo de caso sobre causas e medidas de contenção em escolas do primeiro grau do Estado da Bahia. Salvador: SEC/BA, 1986. LEITE, D.; VERHINE, R.E.; DANTAS, L.M.V.; BERTOLIN, J.G. A autoavaliação na pós-graduação, como componente do processo avaliativo da CAPES. Avaliação: Revista da Avaliação da Educação Superior Educação Superior, 25 (2) p. 339- 353, 2020. MACHADO, C.T. O Banco Mundial e a educação no Brasil: uma análise comparativa de processos de negociação. Tese de Doutorado em Educação, Universidade Federal da Bahia, 2007. SOUZA JUNIOR, L.; VERHINE, R.E. Mestrados e doutorados profissionais como espaços de formação. Revista Lusófona de Educação, 49. p. 163-178, 2020. VERHINE, R.E. Nonformal education and social change in rural Latin America. Dissertação de Mestrado em Estudos Latino-Americanos, University of California, Los Angeles, 1974. VERHINE, R.E. Evasão, repetência e distorção idade-série: uma análise interpretativa da literatura. Estudos IAT, 1 (1), p. 55-66, 1987. VERHINE, R.E. As recentes políticas da CAPES e suas implicações para a área de educação. In: MONTEIRO, F. & MULLER, M.L. (orgs.) Educação na interface da relação estado/sociedade. Cuiabá: EDUFMAT/FAPEMAT, p. 23-34, 2006. VERHINE, R.E. Avaliação da CAPES: subsídios para a reformulação do modelo. In: MACHADO, D., SILVA J.R. & OLIVEIRA, J.F. (orgs.) Reformas e políticas: educação superior e pós- graduação no Brasil. Campinas: Alínia, p. 165-188, 2008. VERHINE, R.E. Avaliação e regulação da educação superior: ponderações a partir dos 10 anos vividos pelo SINAES. Avaliação: Revista da Avaliação da Educação Superior, 20 (3), p. 603-619, 2015 VERHINE, R.E. Garantia da qualidade do ensino superior: o caso dos Estados Unidos. Estudos em Avaliação Educacional, 33, e09022, p. 1-18, 2022. VERHINE, R.E. Higher education quality assurance: a comparative analysis of Brazil and the United States. In: Internationalization of Higher Education: reflections and practices of Brazil and Australia. Porto Alegre: EDIPUC, p. 289- 316, 2021. VERHINE, R.E. O novo alfabeto do SINAES: reflexões sobre o IDD, CPE e IGC. In: DALBEN, A., DINIZ, J., LEAL, L. & SANTOS, L. (orgs.) Convergências e tensões no campo da formação e do trabalho docente. Belo Horizonte: Autêntica, p. 632-650, 2010. VERHINE, R.E. O sistema nacional de avaliação da educação superior após 14 anos: avanços desafios. In: Franco, S.; Legados pedagógicos:Robert Verhine 21 Franco, M.; Leite, D. Educação superior e conhecimento no centenário da reforma de Córdaba: novos olhares em contextos emergentes. Porto Alegre: UFRGS, p. 79- 94, 2018. VERHINE, R.E. (org.) Experiências de avaliação em universidades brasileiras. Salvador: Universidade Federal da Bahia, 2000. VERHINE, R.E.; ARAUJO, B. Em busca da qualidade do ensino superior a distância: a experiência avaliativa da Universidade Virtual Pública do Brasil. In: JAMBEIRO, O. & RAMOS, F. (orgs.) Internet e educação a distância. Salvador: EDUFBA, p. 167-183, 2002. VERHINE, R.E.; ARAÚJO, B. Relato da experiência avaliativa do NAVE/ISP/UFBA: avaliação dos cursos superiores ministrados a distância no ambiente da UniRede. In: ARAÚJO, B. & FREITAS, K.S. (orgs.) Educação a distância no contexto brasileiro. Salvador: Universidade Federal da Bahia, p. 133-148, 2005. VERHINE, R.E.; BROOKE, N. A logística da pesquisa longitudinal: relato de uma experiência brasileira no campo da educação. Revista Científica VERITAS,1, p. 7-40, 2013. VERHINE, R.E.; DANTAS, L.M.V. A avaliação do desempenho de alunos de educação superior: uma análise a partir da experiência do ENADE. In: LORDÊLO, J.C.A. & DAZZANI, M.V. (orgs.) Avaliação educacional: desatando e reatando nós. Salvador: EDUFBA, p. 173- 200, 2009a. VERHINE, R.E.; DANTAS, L.M.V. Reflexões sobre o sistema de Avaliação da capes a partir do V Plano Nacional de Pós- Graduação, Revista de Educação Pública. 18, p. 295-310, 2009b. VERHINE, R.E.; DANTAS, L.M.V. Brazil: problematics of the tripartite federal framework. In: CARNOY, M., FROUMIN, I. & MARGINSON, S. (eds.) Higher education in federal countries: a comparative framework. Thousand Oaks, CA: Sage, p. 212-257, 2018. VERHINE, R.E.; DANTAS; L.M.V. Higher education evaluation and regulation in Brazil. In: David, M.E & Arney, M.J. Sage Encyclopedia of Higher Education. Thousand Oaks, CA: Sage, p. 84-85, 2020a. VERHINE, R.E.; DANTAS, LM.V. The evaluation and regulation of for-profit higher education in Brazil: implications for SINAES. Revista Praxis Educacional, 16 (28), p. 265-282, 2020b. VERHNE, R.E.; DANTAS, L.M.V. Brazil’s national system for the evaluation of higher education: context, challenges and perspectives, Revista de Educação PUC-Campinas, 26, e215312, p. 1-13, 2021. VERHINE, R.E.; DANTAS, L.M.V.; SOARES, J.F. Do Provão ao ENADE: uma análise comparativa dos exames nacionais utilizados no ensino superior brasileiro. Ensaio. Avaliação e Políticas Públicas em Educação, 52 (14), p. 291-309, 2006. VERHINE, R.E.; FREITAS, A.A A avaliação da educação superior: modalidades e tendências no cenário internacional. Ensino Superior - Unicamp, 3 (7), p. 16-39, 2012. VERHINE, R.E.; MELO, A. M. P. Evasão, repetência e distorção idade-série: um estudo de caso sobre causas e medidas de contenção. Educação em Debate, 10 (14), p. 109-133, 1987. VERHINE, R.E. & MELO, A. M. P. Causes of school failure: the case the State of Bahia in Brazil. Prospects, 18 (04), p. 557-568. VERHINE, R. E.; SOUZA, A.R. Compreendendo a Crise Recente na Pós- Education Review/Resenhas Educativas 22 graduação Brasileira Jornal de Políticas Educacionais. 15, e83788, p. 1-10, 2021. Education Review/ Reseñas Educativas/ Resenhas Educativas is supported by the Scholarly Communications Group at the Mary Lou Fulton Teachers College, Arizona State University. Copyright is retained by the first or sole author, who grants right of first publication to the Education Review. Readers are free to copy, display, distribute, and adapt this article, as long as the work is attributed to the author(s) and Education Review, the changes are identified, and the same license applies to the derivative work. Details of this license are available at https://creativecommons.org/licenses/by- sa/4.0/. Disclaimer: The views or opinions presented in book reviews are solely those of the author(s) and do not necessarily represent those of Education Review. https://creativecommons.org/licenses/by-sa/4.0 https://creativecommons.org/licenses/by-sa/4.0