Exame Nacional de Desempenho de Estudantes (Enade): Tendências da produção científica brasileira (2004-2018) Página web: http://epaa.asu.edu/ojs/ Artigo recebido: 2/2/2021 Facebook: /EPAAA Revisões recebidas: 14/10/2021 Twitter: @epaa_aape Aceito: 14/10/2021 Dossiê Especial Educação Superior na América Latina em Tempos de Crise arquivos analíticos de políticas educativas Revista acadêmica, avaliada por pares, independente, de acesso aberto, e multilíngüe Arizona State University Volume 30 Número 34 15 de março 2022 ISSN 1068-2341 Exame Nacional de Desempenho dos Estudantes (Enade): Tendências da Produção Científica Brasileira (2004-2018) Alex de Oliveira Fernandes Universidade Federal de Minas Gerais (UFMG) Brasil & Suzana dos Santos Gomes Universidade Federal de Minas Gerais (UFMG) Brasil Citação: Fernandes, A. de O., & Gomes, S. dos S. (2022). Exame Nacional de Desempenho de Estudantes (Enade): Tendências da produção científica brasileira (2004-2018). Arquivos Analíticos de Políticas Educativas, 30(34). https://doi.org/10.14507/epaa.30.6547 Este artigo faz parte do dossiê especial, Educação Superior na América Latina em Tempos de Crise, editada por Suzana dos Santos Gomes, Savana Diniz Gomes Melo e Felipe Andres Zurita Garrido. Resumo: O presente artigo é resultado de uma pesquisa que investiga o Exame Nacional de Desempenho dos Estudantes (Enade), com o intuito de apreender os conhecimentos legitimados pela avaliação e as implicações pedagógicas do exame na definição de qualidade. Nesse trabalho, destacam-se o mapeamento e análise das tendências temáticas da produção científica brasileira em torno do Enade, referente ao período de 2004 a 2018 em teses e dissertações disponíveis no Catálogo de Teses e Dissertações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). Quanto à metodologia, optou-se pela pesquisa bibliográfica e documental de abordagem quantitativa e qualitativa. Na sistematização da produção sobre o Enade, priorizou-se as seguintes categorias: área do conhecimento, cronologia da produção científica, procedência institucional, distribuição regional, eixos e tendências temáticas. O estudo evidencia que as avaliações estão http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.30.6547 Exame Nacional de Desempenho dos Estudantes (Enade): tendências da produção científica brasileira (2004-2018) 2 impondo um modelo de formação profissional, induzindo uma pedagogia pautada nas competências e um currículo ajustado às demandas da economia. Observa-se ainda, um movimento de mudança na Educação Superior, nos últimos anos, impulsionado pelas políticas de avaliação, mais especificamente o Enade, que se configura como um exame estratégico na instauração de uma ordem político-pedagógica nas instituições de Educação Superior. Palavras-chave: Enade; avaliação; educação superior; estado avaliador Brazilian National Exam on Students’ Performance (Enade): Thematic tendencies of Brazilian scientific production (2004-2019) Abstract: This paper results from a research that investigates the Brazilian National Exam on Students’ Performance (Enade), with the goal of understanding the knowledge legitimated by the implicit definition of pedagogical quality in the Enade. In this study, we mapped and analyzed the thematic tendencies of the Brazilian scientific production around Enade, from 2004 to 2018, within doctorate thesis and master’s dissertations available at the database from Coordination for the Improvement of Higher Education Personnel (Capes). Regarding the methodology, we chose a literature review and documentary research of quantitative and qualitative nature. For the systematization of the production about Enade, we prioritized the following categories: knowledge area, chronology of scientific production, institutional provenance, regional distribution, thematic axis and tendencies. The study reveals that the evaluations impose a model for professional training and initiate a pedagogy guided on the competencies and a curriculum fitted to the demands of economy. In the last years, we also observed a change within higher education propelled by the evaluation policies, and more specifically Enade, which became a key strategy for the institutionalization of a political-pedagogic order. Keywords: Enade; evaluation; higher education; evaluating state Examen Nacional de Desempeño Estudiantil (Enade): Tendencias de la producción científica brasileña (2004-2018) Resumen: Este artículo es el resultado de una investigación en torno al Examen Nacional de Desempeño del Estudiante (Enade), con el fin de aprehender los conocimientos legitimados por la evaluación y las implicaciones pedagógicas del examen en la definición de calidad. En este trabajo se realiza el mapeo y análisis de las tendencias temáticas de la producción científica brasileña sobre Enade - tesis y disertaciones disponibles en la base de datos de la Coordinación de Perfeccionamiento del Personal de Educación Superior (Capes) - tomando como referencia el período de 2004 a 2018. En cuanto a la metodología, optamos por la investigación bibliográfica y documental con un enfoque cuantitativo y cualitativo. En la sistematización de la producción sobre Enade se priorizaron las siguientes categorías: área de conocimiento, cronología de la producción científica, origen institucional, distribución regional, ejes y tendencias temáticas. El estudio muestra que las evaluaciones están imponiendo un modelo de formación profesional, induciendo una pedagogía basada en competencias y un currículo ajustado a las demandas de la economía. También hay un movimiento de cambio en la Educación Superior, en los últimos años, impulsado por políticas de evaluación, más específicamente Enade, que se configura como un examen estratégico para el establecimiento de un orden político-pedagógico en las instituciones de Educación Superior. Palabras clave: Enade; evaluación; educación universitaria; estado de evaluación Arquivos Analíticos de Políticas Educativas Vol. 30, No. 34 Dossiê 3 Exame Nacional de Desempenho dos Estudantes (Enade): Tendências da Produção Científica Brasileira (2004-2018) O presente artigo é resultado de uma pesquisa que investiga o Exame Nacional de Desempenho dos Estudantes (Enade), com o intuito de apreender os conhecimentos legitimados pela avaliação e as implicações pedagógicas do exame na definição de qualidade em cursos de graduação em História em Instituições de Educação Superior (IES). Trata-se de um artigo que se insere no campo dos estudos do estado da arte, campo este que visa compreender as tendências do conhecimento científico produzido sobre temáticas ou áreas de conhecimento específicas (Calderón & Ferreira, 2011; Ferreira, 2002). O estado da arte tem como característica a pesquisa bibliográfica que visa mapear e discutir as pesquisas acadêmicas desenvolvidas, com o intuito de identificar aspectos e dimensões priorizados nessa produção (Ferreira, 2002). Para esse trabalho, destacam-se o mapeamento e análise das tendências temáticas da produção científica brasileira em torno do Enade, cujo recorte temporal abrange o período de 2004 a 2018. Este levantamento foi realizado no Catálogo de Teses e Dissertações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e, por meio dele foram localizadas 132 teses e dissertações. O Enade é uma das avaliações que compõem o Sistema Nacional de Avaliação da Educação Superior (Sinaes), criado pela Lei nº. 10.861, de 14 de abril de 2004. A coordenação do exame está a cargo do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), que oficialmente tem por objetivo, [...] veificar o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e suas competências para compreender temas exteriores ao âmbito específico de sua profissão ligados à realidade brasileira e mundial e a outras áreas do conhecimento. (Brasil, 2005, p. 5) Além de avaliar e acompanhar o processo de ensino e o desempenho acadêmico dos estudantes dos cursos de graduação, o Enade evidencia a intenção de seus formuladores de transformar o exame em referencial para “a definição de ações voltadas para a melhoria da qualidade dos cursos de graduação” (Brasil, 2005, p. 5). Nesse sentido, a expectativa é de que, diante dos resultados dos estudantes nas provas do Enade, as IES - públicas e privadas-, adotem ações pedagógicas com intuito de melhorar a qualidade dos cursos ofertados. Inicialmente, a legislação referente ao Enade previa a aplicação de provas para os estudantes ingressantes e concluintes dos cursos de graduação, por meio de amostragem. Entretanto, em 2017, a aplicação da prova passou a ser censitária, e exclusiva aos estudantes concluintes inscritos por sua respectiva IES. O aspecto obrigatório do exame se evidencia no histórico escolar do estudante: caso não realize a prova, ficará em situação irregular e, portanto, impedido de ter acesso ao certificado de conclusão do curso até que a situação seja regularizada. Para avaliar o desempenho acadêmico dos estudantes, o Enade utiliza quatro instrumentos: uma prova; um questionário de impressões do estudante sobre a prova; um questionário do estudante sobre o curso escolhido e um questionário do coordenador do curso. A prova é composta de 40 questões, sendo 10 questões da parte da formação geral do estudante, e 30 relativas ao componente específico, que correspondem ao curso escolhido. Na parte da formação geral, são utilizadas 8 questões objetivas e 2 discursivas. Já em relação ao componente específico de cada área, Exame Nacional de Desempenho dos Estudantes (Enade): tendências da produção científica brasileira (2004-2018) 4 a prova utiliza 27 questões objetivas e 3 discursivas. As questões de formação geral têm um peso de 25% do valor total da prova, e o componente específico, 75%. (Brasil, 2017). Pode-se afirmar que a importância atribuída aos testes padronizados e aos indicadores de qualidade construídos a partir dos resultados dos estudantes nas avaliações externas intensifica a política de avaliação na Educação Superior. Coerente com essa perspectiva, Dias Sobrinho (2003) afirma que as avaliações na Educação Básica e na Educação Superior estão impondo um modelo de formação profissional, induzindo uma pedagogia e um currículo ajustados às demandas da economia e às necessidades de dominação ideológica de governos. Também Rothen e Santana (2018) observaram o movimento de mudança na Educação Superior, nos últimos anos, impulsionado pelas políticas de avaliação. Segundo os autores, apesar de ainda não se ter bem definido quais são as implicações da avaliação nas IES, há mudanças em curso, seja no “habitus professoral, no currículo ou de forma geral, no modus operandi das universidades que necessitam ser investigadas” (Rothen & Santana, 2018, p.13). Percurso Metodológico no Mapeamento das Produções Científicas sobre o Enade Ao longo de seu processo de implementação e funcionamento, o Enade despertou o interesse de muitos pesquisadores vinculados a universidades de todas as regiões do Brasil, o que gerou pesquisas relevantes para a compreensão desse exame. A relevância do Enade também se verifica na produção de teses e dissertações, oriundas de diferentes regiões e Estados, e localizadas no Catálogo de Teses e Dissertações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), objeto de análise desse estudo. Coerente com essa perspectiva, o estudo em pauta é entendido como pesquisa bibliográfica e documental de abordagem quantitativa e qualitativa. A busca dos estudos no banco de dados da Capes se deu por meio do uso dos descritores “Enade”, “Educação Superior” e “Políticas de Avaliação”, inseridos separadamente e/ou articulados na consulta. Nessa etapa, foram localizados 132 trabalhos, sendo 24 teses e 108 dissertações, base referencial dessa investigação. Na etapa seguinte, realizou-se a leitura dos resumos, procurando identificar temáticas, objetivos e resultados dos estudos, com o intuito de, na etapa posterior, caracterizar e mapear as principais tendências presentes nos resumos de teses e dissertações produzidas sobre o Enade. Torna-se relevante destacar, com base nas contribuições de Ferreira (2002), Calderón e Ferreira (2011), que existem limitações nos estudos sobre o estado da arte que priorizam resumos de teses e dissertações, as quais podem ser, entre outras, a imprecisão e o caráter abrangente e genérico dos conteúdos. Ancorada em Bakhtin (1997), Ferreira (2002) considera ser possível utilizar os resumos de teses e dissertações para a identificação de tendências na produção científica, desde que se considere dois momentos distintos no processo metodológico. O primeiro mais relacionado ao aspecto objetivo da investigação que consiste na interação com a produção acadêmica por meio da quantificação e identificação das informações disponíveis nos resumos, incluindo objetivos, metodologias, resultados, referenciais teóricos, entre outras. O segundo momento implica considerar que os resumos constituem um gênero do discurso específico que deve ser lido pelos elementos que o constituem (conteúdo temático, estilo verbal, estrutura composicional), não podendo ser confundidos com a realidade narrada nas dissertações e teses. Nesse sentido, os resumos das pesquisas analisadas contam uma certa realidade fragmentada dessa produção que não podem ser tomadas “metonimicamente (uma parte que representa o todo)” (Ferreira, 2002. p. 269). Portanto, cada resumo deve ser analisado numa relação de dependência com o trabalho na íntegra, mas Arquivos Analíticos de Políticas Educativas Vol. 30, No. 34 Dossiê 5 compreendido como realidade relativamente independente, “produto de uma tensão construída na continuidade e na ruptura com o trabalho que lhe dá origem, numa relação dialética entre os gêneros, entre as condições de sua produção e práticas discursivas” (Ferreira, 2002, p. 270). Dessa forma, torna-se relevante destacar no percurso metodológico adotado nesse estudo, alguns procedimentos, entre eles: a leitura dos resumos dos trabalhos selecionados, e a montagem de um quadro com dados obtidos a partir dos seguintes aspectos: número de teses e dissertações produzidas sobre o Enade; instituições; distribuição dos estudos no território nacional, considerando o ano de defesa e de publicação, cursos e áreas de concentração das teses e dissertações. Na sistematização da produção sobre o Enade, priorizou-se as seguintes categorias: área do conhecimento; cronologia da produção científica; procedência institucional; distribuição regional; eixos e tendências temáticas, com ênfase nos resultados dos estudos sobre as implicações do exame nos cursos de graduação. Apesar das limitações dos estudos do estado da arte, considera-se que o mapeamento realizado sobre o Enade nesse estudo, a partir da leitura de resumos de teses e dissertações permitiu a identificação de tendências da produção cientifica brasileira que, quando problematizadas, contribuem para o debate no campo das políticas de avaliação da Educação Superior. O Enade como Avaliação Estratégica do Sinaes Estudos no campo da avaliação, entre eles, Dias Sobrinho (2003, 2010); Verhine (2015) e Rothen e Santana (2018) atestam certa descontinuidade na execução de políticas públicas promovidas pelo Estado brasileiro ao longo do século XX. Especificamente na Educação Superior, os instrumentos, procedimentos, objetivos, modalidades e tipos de avaliação presentes nas diferentes experiências e propostas metodológicas formuladas e implementadas evidenciam concepções influenciadas pelos modelos de avaliação regulatória e emancipatória (Limana, 2008; Silva & Silva, 2008). Os debates em torno das vantagens, benefícios e limites desses dois modelos têm gerado a defesa de uma lógica de avaliação que combine regulação e emancipação com o intuito de garantir a autonomia universitária (Brasil, 2003). Nesse sentido, a valorização do aspecto regulatório da avaliação pode ser observada no cenário internacional, configurando-se numa tendência mundial em diferentes países ocidentais, associada às reformas realizadas pelo Estado nas décadas de 1980 e 1990 (Afonso, 2009). No Brasil, apesar de iniciativas de organização de um sistema de avaliação na Educação Superior na década de 1980, como o Programa de Avaliação da Reforma Universitária (Paru), e da proposta do Ministério da Educação (Mec), por meio do Grupo Executivo para a Reforma da Educação Superior (Geres), foi somente a partir da criação do Sinaes que o aspecto regulatório da avaliação passou a ter destaque na Educação Superior (Brasil, 2004). Pode-se afirmar que o Sinaes utiliza prerrogativas legais do processo nacional de avaliação das instituições de Educação Superior presentes na Constituição de 1988, na Lei de Diretrizes e Bases da Educação - LDB 9394/1996 e no Plano Nacional de Educação (PNE) em 2001, e além disso, efetiva uma concepção em pauta no governo do Presidente Fernando Henrique Cardoso (1995-1998, 1999-2002). Em relação ao PNE (2001), o Artigo 4°, estabelece que a União “[...] instituirá o Sistema Nacional de Avaliação e estabelecerá os mecanismos necessários ao acompanhamento das metas constantes do Plano Nacional de Educação” (Brasil, 2001, p.1). O desejo de se criar um sistema nacional de avaliação da Educação Superior como condição para melhorar a qualidade nesse nível de ensino também está presente nas metas 6, 7, 8 e 9 do PNE. (Brasil, 2001). Esse desejo se concretizou na criação do Sinaes e do Enade em 2004. Exame Nacional de Desempenho dos Estudantes (Enade): tendências da produção científica brasileira (2004-2018) 6 Trata-se de um processo que instaura uma lógica de avaliação externa, de caráter regulatório. Os estudos no campo da avaliação demonstram que o Sinaes foi concebido sob uma concepção diferente dos exames que o antecederam, visando, inclusive, superar a concepção tecnicista, fragmentada, pragmática e limitadora do Exame Nacional de Curso (Provão), que vigorou entre 1995 e 2003 (Dias Sobrinho, 2010; Verhine, 2015). Uma das críticas relativas ao Provão reside na supervalorização das provas como instrumento privilegiado para definir a qualidade dos cursos, o que deu a ele um caráter estático e fragmentário, um exame aplicado num único momento que acabou confundindo desempenho dos estudantes em testes com aprendizado adquirido nos cursos. Em contraposição a essa concepção restrita de avaliação, o Sinaes buscou integrar as diversas etapas e modalidades da avaliação, incluindo a avaliação institucional, de cursos e da aprendizagem dos estudantes, assim como os diversos instrumentos, o que teria dado a ele características de uma avaliação formativa, global e integradora (Dias Sobrinho, 2010). Entretanto, apesar das intencionalidades anunciadas na documentação do Sinaes, na prática a tentativa de conciliar a visão emancipatória da avaliação com a visão regulatória tornou o sistema ambíguo em relação aos procedimentos adotados e ao papel exercido pela avaliação (Rothen & Santana, 2018). Essa ambiguidade é oriunda das transformações no Sinaes, a partir de 2008, promovidas pela inserção dos indicadores de qualidade que passam a valorizar o Enade, em detrimento das demais modalidades e tipos de avaliação. Apesar dos aspectos políticos e ideológicos distintos, essa concepção de avaliação se manteve nos governos do Presidente Luiz Inácio Lula da Silva (2003-2006, 2007-2010) e da Presidenta Dilma Rousseff (2011-2014, 2015-2016; Fernandes et al., 2018; Gomes & Melo, 2018). Nesse contexto, foram produzidos diversos ciclos do Sinaes a fim de assegurar a construção de um sistema de avaliação capaz de garantir a qualidade na Educação Superior. Estreitamente ligada a essa questão, Duarte, Ferri e Lacerda (2016) contribuem, apresentando os ciclos dos Sinaes, a saber: no primeiro (2004-2006) discutiu-se o formato do sistema de avaliação, a questão da metodologia empregada na avaliação por amostragem - Enade, o que culminou numa avaliação censitária em 2008. No segundo ciclo (2007-2009), uma nova reformulação foi proposta, na qual foi implementado o Conceito Preliminar do Curso (CPC)1 e o Índice Geral de Cursos (IGC)2; os dois indicadores passaram a ser utilizados como principal insumo no Enade. O terceiro ciclo avaliativo (2010-2012) foi caracterizado pela reestruturação do CPC (Fernandes et al., 2018). Com base nas mudanças estruturais observadas no Sinaes, Duarte, Ferri e Lacerda (2016) alertam que, apesar de o Enade utilizar dados qualitativos como o CPC e o IGC, a nota de desempenho é o principal indicador desse sistema de avaliação. Nos documentos oficiais, o Sinaes é apresentado como um sistema de avaliação construído numa concepção emancipatória e regulatória em busca do fortalecimento da autonomia universitária (Brasil, 2009). Entretanto, a importância atribuída aos resultados dos testes do Enade como indicadores de qualidade da Educação Superior revela que o aspecto quantitativo e regulatório da avaliação tem se sobreposto ao aspecto qualitativo e emancipatório anunciados na documentação do Sinaes (Rothen & Santana, 2018). 1 O CPC é um indicador de qualidade dos cursos de graduação. O cálculo e divulgação ocorrem no ano seguinte ao da realização do Enade, considerando além deste exame de desempenho dos estudantes, o valor agregado pelo processo formativo e em insumos referentes às condições de oferta: corpo docente, infraestrutura e recursos didático-pedagógicos. 2 O Índice Geral de Cursos Avaliados da Instituição (IGC) é outro indicador de qualidade das IES adotado pelo Inep. Seu cálculo é realizado anualmente e leva em conta indicadores dos cursos de graduação e dos programas de pós-graduação. Disponível em: http://portal.inep.gov.br/indice-geral-de-cursos-igc- Arquivos Analíticos de Políticas Educativas Vol. 30, No. 34 Dossiê 7 Diante do exposto e com base na importância que o Enade adquiriu no sistema de avaliação das IES, busca-se, nesse artigo, apresentar as principais tendências da produção cientifica em torno do exame, que se configura como principal política de avaliação da Educação Superior. Mapeamento dos Estudos sobre o Enade O levantamento realizado no banco de dados da Capes permitiu localizar 132 estudos sobre o Enade. Desse total, 82% correspondem a dissertações e 18% correspondem a teses. A Tabela 1 abaixo apresenta o mapeamento dos estudos realizados desde o primeiro trabalho, em 2006, até o ano de 2018. Tabela 1 Mapeamento de Teses e Dissertações sobre o Enade no Período de 2006 a 2018 Ano da defesa Número % 2006 1 0,75 2007 2 1,5 2008 6 4,5 2009 5 3,7 2010 8 6 2011 8 6 2012 8 6 2013 14 10,6 2014 14 10,6 2015 13 9,8 2016 18 13,6 2017 15 11,3 2018 20 15,1 Total 132 100% Fonte: dados da pesquisa (2019). Verificou-se na Tabela 2 que, do total de pesquisas obtidas no levantamento, 71 foram realizadas em IES públicas e 61 em instituições privadas, sendo que do total de 108 dissertações, 58 destas foram defendidas em IES públicas e 50 em instituições privadas. Em relação às teses, 13 foram realizadas em IES públicas e 11 em instituições privadas. Além disso, a Tabela 2 atesta que as instituições que sediaram as pesquisas de mestrado e doutorado sobre o Enade somam 77, sendo 39 da rede pública e 38 da rede privada. Como se vê na Tabela 2, a Universidade de São Francisco (USF) e a Universidade de Brasília (UnB) são as que aparecem com maior número de produções sobre o Enade, 11 pesquisas em cada uma das instituições, seguidas pela Universidade Federal do Ceará (UFC), com 6 pesquisas. Na sequência, aparecem as Universidade Católica de Brasília, Universidade Católica de Petrópolis, Universidade Federal do Paraná, Universidade Federal de Santa Catarina e Universidade de São Paulo, com 4 trabalhos defendidos em cada instituição. Observou-se, ainda, que a Universidade Federal de Pernambuco apresentou 3 investigações sobre o Enade. Do total de pesquisas, 13 instituições sediaram 2 pesquisas, e 55 IES tiveram 1 pesquisa cada. Exame Nacional de Desempenho dos Estudantes (Enade): tendências da produção científica brasileira (2004-2018) 8 Tabela 2 Instituição, Estado, Tipo de Rede das Pesquisas sobre o Enade Instituição UF Tipo de rede Número de Pesquisas USF SP Privada 11 UNB DF Pública 11 UFC CE Pública 6 UCB DF Privada 4 UCP RJ Privada 4 UFPR PR Pública 4 UFSC SC Pública 4 USP SP Pública 4 UFPE PE Pública 3 UFBA BA Privada 2 FUCAPE ES Privada 2 UNICID SP Privada 2 UNIVALI SC Privada 2 PUC RS Privada 2 UNICAMP SP Pública 2 UFU MG Pública 2 FURB SC Privada 2 UFJF MG Pública 2 PUC GO Privada 2 UFSCAR SP Pública 2 UCAM RJ Privada 2 UNISANTOS SP Privada 2 UNICSUL SP Privada 1 UNESP SP Pública 1 UFPI PI Pública 1 UEPA PA Pública 1 FUMEC MG Privado 1 PUC MG Privado 1 UNIPLAC SC Pública 1 PUC Campinas SP Privada 1 UFV MG Pública 1 UFRN RN Pública 1 UNIVERSO RJ Privada 1 UNIVAL SC Privada 1 UFPB PB Pública 1 UFRJ RJ Pública 1 UEL PR Pública 1 FAMERP SP Pública 1 UFMA MA Pública 1 UFPA PA Pública 1 UFMG MG Pública 1 ULBRA RS Privada 1 MACKENZIE SP Privada 1 Arquivos Analíticos de Políticas Educativas Vol. 30, No. 34 Dossiê 9 Instituição UF Tipo de rede Número de Pesquisas UFF RJ Pública 1 UPF RS Privada 1 UNEB BA Pública 1 UNIFEI MG Pública 1 UFRGS RS Pública 1 UNITAU SP Pública 1 UNIFAE SP Pública 1 UFGO GO Pública 1 UNIFIEO SP Pública 1 UFSM RS Pública 1 ITA SP Pública 1 FPS PE Privada 1 URI RS Privada 1 UNOESTE SP Privada 1 UCS RS Privada 1 UNISINOS RS Privada 1 UNIFAC BA Privada 1 UEM PR Pública 1 FGV RJ Privada 1 UENF RJ Pública 1 UNIFENAS MG Privada 1 UNO CHAPECÓ SC Privada 1 UNISO SP Privado 1 IDP DF Privado 1 UFG GO Público 1 FGV SP Privado 1 UFES ES Pública 1 UNIVAS MG Privado 1 URIERECHIM RS Privado 1 PUC SP Privado 1 UFS SE Pública 1 UMESP SP Privado 1 UNIEURO DF Pública 1 UNIFRA RS Privado 1 Total de trabalhos - - 132 Fonte: Dados da pesquisa (2019). Em relação às áreas de conhecimento, destaca-se que na USF (SP) todos os 11 estudos foram desenvolvidos na área de Psicologia, com ênfase nas propriedades psicométricas do Enade. Na UnB (DF), foram encontrados 11 trabalhos, sendo sete na área da Educação, dois em Contabilidade, um em Gestão Pública e outro em Política Social. Dando prosseguimento, a Tabela 3 apresenta a distribuição das pesquisas sobre o Enade em 22 áreas de concentração, apresentadas conforme indicações nas teses e dissertações. Exame Nacional de Desempenho dos Estudantes (Enade): tendências da produção científica brasileira (2004-2018) 10 Tabela 3 Área de Concentração nas Pesquisas sobre o Enade Área de concentração Número % Educação 58 43,9 Psicologia 11 8,3 Ciências contábeis 11 8,3 Administração 11 8,3 Economia 9 6,8 Gestão 8 6,0 Linguística 4 3,0 Ciências da saúde e medicina 4 3,0 Engenharia de produção 3 2,27 Engenharia de eletricidade 1 0,75 Engenharia da aeronáutica 1 0,75 Engenharia industrial 1 0,75 Ciências naturais 1 0,75 Química 1 0,75 Ciência da computação 1 0,75 Turismo 1 0,75 Letras 1 0,75 Avaliação de políticas públicas 1 0,75 Política social 1 0,75 Direitos Humanos 1 0,75 Ciência da atividade física 1 0,75 Pesquisa operacional e inteligência computacional 1 0,75 Total 132 100% Fonte: Dados da pesquisa (2019). Constatou-se um número expressivo de pesquisas sobre o Enade na área da Educação, sendo 43,9% estudos, seguido das áreas de Psicologia, Ciências Contábeis e Administração, com cerca de 8,3% cada. Como se pode observar, os dados revelam interesse investigativo sobre o Enade em diversas áreas, incluindo diversas Engenharias, Ciência da Saúde e Medicina, e outras áreas inseridas nos campos de conhecimento das Ciências Humanas, Ciências Exatas, Ciências Econômicas e da Administração. Além disso, observou-se na Tabela 4 que, no período de 2004 a 2018, foram desenvolvidas pesquisas em todas as regiões do Brasil, em 18 Estados. Verificou-se predomínio da produção na região Sudeste, com 62 pesquisas defendidas; na sequência aparecem: a região Sul, com 28 pesquisas; o Centro-Oeste, com 21 pesquisas; o Nordeste, com 19 pesquisas e finalmente, o Norte com 2 pesquisas. Arquivos Analíticos de Políticas Educativas Vol. 30, No. 34 Dossiê 11 Tabela 4 Pesquisas sobre o Enade por Regiões e Estados Região UF Número % SUDESTE SP 37 28 MG 11 8,3 RJ 11 8,3 ES 3 2,2 Total - 62 46,9 SUL RS 11 8,3 SC 11 8,3 PR 6 4,5 Total - 28 21,2 CENTRO-OESTE DF 17 12,8 GO 4 3 Total - 21 15,9 NORDESTE CE 6 4,5 BA 4 3 PE 4 3 PB 1 0,75 MA 1 0,75 PI 1 0,75 RN 1 0,75 SE 1 0,75 Total - 19 14,3 NORTE PA 2 1,5 Total - 2 1,5 Total Geral - 132 100 Fonte: Dados da pesquisa (2019). A Tabela 4 atesta que, entre os estados, São Paulo registrou o maior número de investigação, totalizando 37; seguido pelo Distrito Federal, com 17 pesquisas; os estados de Minas Gerais, Rio de Janeiro, Rio Grande do Sul e Santa Catarina registraram 11 estudos cada. As seções seguintes atestam que o número expressivo de pesquisas sobre o Enade evidencia também amplitude nas temáticas, nos objetivos e nos resultados identificados e mapeados por meio dos resumos das teses e dissertações. Tendências nas Pesquisas sobre o Enade Dos 132 trabalhos encontrados no Catálogo de Teses e Dissertações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), realizou-se a leitura, análise e classificação do resumo de 113 pesquisas. Três investigações, embora tenham anunciado a palavra Enade no título, não tinham o exame como foco, e outras 16 pesquisas não foram localizadas no site da Capes e nem nos sites das IES e, por isso, não foram analisadas. A diversidade de pesquisas sobre o Enade foi evidenciada no número e na variedade de áreas nas quais as investigações se inserem, e se manifesta também nas preferências temáticas dos Exame Nacional de Desempenho dos Estudantes (Enade): tendências da produção científica brasileira (2004-2018) 12 pesquisadores. Entretanto, apesar dessa variedade, verificou-se, a partir da leitura dos resumos e de algumas introduções e conclusões das teses e dissertações, pontos comuns quanto a determinados aspectos do Enade, entre eles: 1) análise psicométrica do Enade, estudos estatísticos ou correlações entre variáveis; 2) análise da prova do Enade e da política de avaliação; 3) implicações do Enade nas IES; 4) desempenho dos estudantes no Enade e discursos dos aplicadores 5) Enade como estratégia de padronização e controle; e 6) estado da questão. As 113 pesquisas foram agrupadas em seis eixos criados a partir da leitura dos resumos, especificamente, por meio dos objetivos anunciados nas investigações. A Tabela 5, apresenta a distribuição dos eixos temáticos identificados nas teses e dissertações: Tabela 5 Eixos Temáticos Identificados nas Pesquisas Eixos temáticos Número % Análise psicométrica do Enade, estudos estatísticos ou correlações entre variáveis 42 37,1 Análise da prova do Enade e da política de avaliação 32 28,3 Implicações do Enade nas IES 21 18,5 Desempenho dos estudantes no Enade e discursos dos aplicadores 14 12,3 Enade como estratégia de padronização e controle 3 2,6 Estado da questão 1 0,88 Total 113 100 Fonte: Dados da pesquisa (2019). Como se vê, o eixo Análise psicométrica do Enade, estudos estatísticos ou correlações entre variáveis, apresenta o maior número de trabalhos, 37,1% no total, seguido pelo eixo Análise da prova do Enade e da política de avaliação, com 28,3% das pesquisas, e Implicações do Enade nas IES, com 18,5% dos trabalhos. As pesquisas sobre Desempenho dos estudantes no Enade e discurso dos aplicadores, representam 12,3%, o Enade como estratégia de padronização e controle aparece em 2,6% das pesquisas e, finalmente, o Estado da questão aparece em apenas 0,88% das pesquisas. Análise Psicométrica do Enade, Estudos Estatísticos ou Correlações entre Variáveis Nesse eixo foram classificados, como mencionado, 37,1% dos trabalhos, embora os modelos estatísticos tenham sido utilizados em outras pesquisas. Tratam-se de estudos que anunciaram como foco a análise de aspectos técnicos e operacionais do Enade e as variáveis explicativas para o desempenho dos estudantes. Tendo em vista os limites desse artigo, elegeu-se alguns trabalhos a fim de ilustrar algumas tendências das pesquisas. Sobre as propriedades psicométricas do Enade, Oliveira (2006) utiliza o banco de dados com os resultados do exame no ano de 2004, de estudantes de Medicina. A autora conclui que as provas apresentam maior informação e são voltadas para um nível de habilidade mais elevado, no componente da formação específica, se comparada a componentes de formação geral. Em dissertação que se propõe analisar e comparar políticas de avaliação da Educação Superior no Brasil (Exame Nacional de Cursos, ou Provão, e o Enade), por meio das provas dos cursos de Medicina e de Enfermagem, Silva (2007) observa que as avaliações apresentaram níveis de contextualização Arquivos Analíticos de Políticas Educativas Vol. 30, No. 34 Dossiê 13 adequados à formação dos estudantes, sendo que os itens do Enade são mais holísticos do que os do Provão. Nogueira (2008) objetivou aplicar a Teoria de Resposta ao Item (TRI) para avaliar as questões de formação geral da prova do Enade, em especial aquelas que envolvem conceitos estatísticos, visando estimar a proficiência dos estudantes nos conteúdos avaliados, e o ajuste dos itens ao modelo estatístico de Rasch. Essa investigação constatou que as questões objetivas da prova de 2004 apresentam parâmetros difíceis, exigindo maior habilidade do estudante para que haja a probabilidade de acerto. Já as questões discursivas de 2004 e 2005 apresentam parâmetros de dificuldade mais baixos, embora não sejam equiparáveis (Nogueira, 2008). O estudo de Lopes (2011) buscou equalizar as provas do Enade via TRI. Para tanto, foi utilizado um banco de dados contendo informações acadêmicas de 49.497 estudantes do curso de Pedagogia que realizaram o Enade em 2005, e um banco de dados contendo informações acadêmicas de 260 estudantes. O estudo indicou itens com boas propriedades psicométricas. Lopes (2014), por sua vez, construiu um instrumento de avaliação das atitudes de estudantes da Educação Superior frente ao Enade e realizou estudos de evidências que comprovaram a validade e fidedignidade desse instrumento. Percebe-se nesses estudos a preocupação dos investigadores em testar a validade e a confiabilidade dos itens do Enade e em elaborar instrumentos estatísticos confiáveis para analisar o desempenho dos estudantes nos testes. Ainda nesse eixo, mas com o interesse em utilizar modelagens estatísticas explicativas do desempenho dos estudantes a partir da correlação de variáveis, destacam-se os estudos de Cruz (2012); Brito (2015); Gomes (2015); Gutierrez (2015); Silva (2016); Araújo (2017) e Almeida (2018). Em Cruz (2012), os procedimentos de estatística descritiva, e de regressão linear múltipla multivariada pelo método de máxima verossimilhança foram adotados com o intuito de investigar a relação entre os conteúdos curriculares e o desempenho dos alunos dos cursos de Ciências Contábeis, no Enade 2009. A coleta de dados se deu por meio de questionários aplicados aos coordenadores de cursos, além do uso de dados secundários do Inep. Os resultados indicaram não existir relação entre as proporções de conteúdos curriculares e o desempenho dos alunos no Enade e sugeriram desempenho diferenciado dos alunos dos cursos de Ciências Contábeis por região do país. Os modelos de regressão e análise fatorial foram utilizados por Brito (2015) a fim de determinar como as características do corpo docente de uma IES influenciam o desempenho dos concluintes do curso de Graduação em Administração no Enade. Para o autor, o nível de escolaridade do corpo docente, o número de docentes por curso, e o número de cursos ofertados têm impacto significativo para o desempenho discente. Os estudos de Gomes (2015) e Almeida (2018) estabelecem correlação de variáveis com modelagens estatísticas. Gomes (2015) conclui que gênero e desempenho prévio dos estudantes são as variáveis mais relevantes em relação ao desempenho final dos estudantes no curso de Tecnologia. Almeida (2018), por sua vez, evidencia a importância significativa de fatores pessoais como background familiar e contexto socioeconômico sobre a proficiências dos estudantes de engenharia. Também Gutierrez (2015) investigou a diferença de desempenho de estudantes cotistas e não cotistas na nota do sistema de ensino superior do Brasil. Para isso, utilizou o desempenho dos alunos formandos que ingressaram na universidade por meio de ação afirmativa (cor, renda, escola pública, e outros critérios da prova do Enade do ano de 2012, amostra de 17 cursos e mais de 466 mil alunos). Os resultados revelaram que os alunos beneficiários das ações afirmativas de escola pública possuem notas superiores aos alunos não beneficiários, em todas as categorias de IES analisadas. Já Silva (2016) buscou verificar o efeito do trabalho no desempenho de estudantes no Enade, a partir de dados de 2013, aplicado a 196.855 estudantes de 17 cursos superiores. Verificou-se o desempenho superior de estudantes que não trabalham, em relação aos que trabalham. De acordo Exame Nacional de Desempenho dos Estudantes (Enade): tendências da produção científica brasileira (2004-2018) 14 com o autor, pode-se concluir que o desempenho do estudante no Enade é afetado negativamente pelo trabalho. Finalmente, Araújo (2017) investiga os fatores determinantes do desempenho acadêmico dos alunos de IES no Brasil, relativos ao ano de 2013. Os resultados indicaram que fatores socioeconômicos como idade, sexo, raça e renda familiar, e características da própria IES do aluno, tais como a região onde ela está inserida, tipo de rede, podem explicar, parcialmente, a variação das notas dos estudantes. Análise da Prova do Enade e da Política de Avaliação Como se pode observar na Tabela 5, esse eixo inclui 32 investigações entre as 113 analisadas, o que representa 28,3% dos estudos. São trabalhos que buscam analisar os discursos e os conteúdos dos itens das provas do Enade, a relação entre as competências aferidas no exame e os currículos dos cursos, e a percepção de estudantes, coordenadores e professores acerca das provas de conhecimento geral e específico dos cursos de graduação. Nesse sentido, Silva (2009) analisa os gêneros do discurso nas questões discursivas que constituem o componente específico das provas do Enade aplicadas aos estudantes dos cursos de Administração, Psicologia e Secretariado Executivo, no ano de 2006. A autora buscou verificar se os gêneros solicitados eram os mais relevantes para a atuação dos profissionais egressos nesses cursos. Como resultado, observa-se lacunas entre o que se solicita dos estudantes no exame e o que é necessário para que os profissionais se engajem efetivamente nas práticas comunicativas de sua esfera profissional. Constata-se, ainda, que a elaboração do exame foi norteada por uma concepção teórica inconsistente, pois atribui maior relevância ao conhecimento sobre os gêneros para o curso de Secretariado Executivo, em detrimento do demais cursos analisados (Silva, 2009). Novossate (2010) analisou o conteúdo das questões do Enade 2005, aplicado no curso de Licenciatura em Ciências Biológicas, e a relação deste com as competências presentes nos documentos curriculares do curso. A autora verificou que há pouca relação entre a prova e os documentos analisados e concluiu que, apesar de os vários documentos curriculares destacarem a importância de não se dissociar os conhecimentos pedagógicos dos conhecimentos específicos, o Enade não tem privilegiado tal relação. Costa (2013) analisou as questões das edições 2005, 2008 e 2011 das provas de Física do Enade, procurando entender a complexidade da elaboração das questões e a estrutura do exame. Para o estudo dos aspectos cognitivos mobilizados pelos estudantes, o investigador realizou a categorização das questões objetivas e discursivas, segundo a Taxonomia de Bloom Revisada, a qual estabelece o domínio do conhecimento e o processo cognitivo mobilizados na realização de uma tarefa. Os resultados indicam que as questões do Enade requerem do estudante o domínio dos conhecimentos conceitual e procedural (procedimental), os quais exigem níveis de complexidade mais elevados para a resolução de uma tarefa. Como resultado, verificou-se, de um lado, a concentração de questões presentes na Matriz de Referência em detrimento de outras, indicando a prevalência na cobrança de certos perfis, em detrimento de outros, preconizados nas Diretrizes Curriculares do Curso de Física. Em relação ao nível de dificuldade, a maioria das questões foram classificadas como de nível médio ou difícil, sendo a prova de 2011 a mais difícil dos três exames, com 72% dos itens considerados difíceis (Costa, 2013). As representações de alteridade foram analisadas por Mota (2015) nas questões de formação geral do Enade, a partir do campo dos Estudos Culturais de viés pós-estruturalista, buscando identificar quais identidades ganharam visibilidade e como foram representadas nos itens das provas, entre os anos de 2004 e 2013. Para a autora, o Enade, compreendido como um artefato que produz uma Pedagogia Cultural, busca por em circulação significados que se vinculam a uma lógica Arquivos Analíticos de Políticas Educativas Vol. 30, No. 34 Dossiê 15 politicamente correta, ou seja, dá visibilidade a grupos que até hoje lutam para terem seus direitos reconhecidos e legitimados. Por outro lado, mesmo que não intencionalmente, por meio de suas questões, o Enade tende a reforçar representações estereotipadas relacionadas a índios, negros e mulheres (Mota, 2015). Bezerra Junior (2016) comparou e analisou os itens do Enade com as provas do exame da Ordem dos Advogados do Brasil (OAB), à luz da taxonomia dos objetivos de Bloom, a fim de mapear os objetivos exigidos nos testes aplicados no ano de 2012. O autor conclui que os Exames da OAB trabalham no nível da categoria do conhecimento, ao passo que o Enade explora mais a categoria imediatamente superior, a da compreensão (Bezerra Junior, 2016). Além dos trabalhos que analisaram os conteúdos dos itens e a relação dos mesmos com os documentos curriculares dos cursos, outra tendência observada nos estudos integrantes desse eixo é a análise da percepção dos sujeitos envolvidos no Enade em relação à prova aplicada aos estudantes. Nessa perspectiva, Valluis (2014), investigou a repercussão do Enade junto a estudantes concluintes do curso de Administração e constatou que os mesmos percebem o Enade como instrumento avaliador que contribui para a melhoria da qualidade da Educação Superior no Brasil. Finalmente, Waldrigues (2014), investigou as percepções dos coordenadores de cursos de graduação em Enfermagem sobre o Enade. Os resultados indicaram críticas aos rankings. Além disso, os desempenhos dos alunos não têm provocado mudanças necessárias no Projeto Pedagógico de Curso (PPC). Implicações do Enade nas IES Nesse eixo foram localizados 21 estudos, o que representa 18,5 % do total de trabalhos. Nele estão reunidos estudos que apresentam implicações ou impactos do Enade nos cursos das IES, seja na mudança de gestão, na organização curricular, no trabalho docente, nas práticas pedagógicas ou nas formas de avaliação das instituições e nas práticas docentes. Verificou-se nos estudos de Fonseca (2008), Polizel (2010), Alonso (2012), Amaral (2013), Lopes (2016) e Silva (2018) mudanças significativas nos cursos de graduação orientadas pelos resultados dos estudantes no Enade. Além disso, outras 15 pesquisas classificadas nesse eixo indicaram pouca ou nenhuma mudança nos cursos e IES em função do desempenho dos estudantes no exame. Observou-se, como tendência, que as implicações mais significativas do Enade vêm ocorrendo em IES privadas. As pesquisas indicaram que nas IES públicas, embora o Enade tenha se consolidado entre 2004 e 2018, os resultados dos estudantes no exame não provocaram mudanças na organização dos cursos na mesma proporção em que ocorreu nas instituições privadas. Ressalta-se a tese de Fonseca (2008), que investigou as influências do Enade na dinâmica dos processos avaliativos dos cursos da área de Educação. Constatou-se mudanças na dinâmica das aulas e na escolha de estratégias e instrumentos de avaliação. Segundo a autora, a avaliação evoluiu do modo mais tradicional para um enfoque mais formativo e mediador. Porém, esse processo foi acompanhado de tensionamentos em relação ao ranqueamento das IES. Outra constatação da pesquisa está relacionada à concepção pedagógica das habilidades e competências sob a qual se fundamenta o Enade, e a distância dos cursos e da formação dos professores em relação a tais conceitos. Ainda nesse eixo, Alonso (2012) objetivou conhecer as práticas dos coordenadores dos cursos de Tecnologia, do setor privado, em relação aos resultados do Enade. De acordo com esse estudo, há repercussões nas práticas dos coordenadores, promovendo alterações nas técnicas de ensino, nas avaliações padronizadas adotadas nos cursos de acordo com o modelo da prova do Enade, e nos conteúdos programáticos que passam a ser adequados ao exame (Alonso, 2012). Em seu trabalho, Lopes (2016) observou melhorias no desempenho dos estudantes que realizaram a prova do Enade no ano de 2012, em função da introdução em todos os cursos de Exame Nacional de Desempenho dos Estudantes (Enade): tendências da produção científica brasileira (2004-2018) 16 graduação de uma IES privada de uma disciplina voltada para conteúdos da formação geral aferidos no exame. A instituição optou por preparar os estudantes para o exame, o que teria sido responsável por um crescimento considerável no desempenho dos estudantes que frequentaram a disciplina. Outros estudos, entre eles Rodrigues (2010), Reis (2009) e Santos (2010), evidenciaram pouca ou nenhuma mudança nos cursos das IES em função do desempenho dos estudantes no Enade. Já Rodrigues (2010) analisou as contribuições do Enade para o aperfeiçoamento do Curso de Pedagogia, tendo a Universidade Federal de Minas Gerais como instituição de referência para realização do estudo. Os dados evidenciam a distância do Enade em relação ao trabalho interno da instituição, a ausência de debate interno sobre as possibilidades da cultura da avaliação, e, ainda, dúvidas com relação à legitimidade do Enade para avaliar o percurso de formação dos estudantes. O estudo evidenciou, também, que a prova de conhecimentos específicos não conseguiu aferir a lista de competências e conhecimentos do Enade. Além disso, alguns participantes associaram o exame ao princípio quantitativo do Provão. Já o estudo de Reis (2009) constatou que o Enade tem maior interferência nas IES privadas, influenciando na organização pedagógica, na composição docente e na estrutura física. Nas IES públicas não foram percebidas implicações significativas, principalmente devido ao desinteresse de professores, coordenadores e estudantes, que se posicionam criticamente em relação à política de avaliação do Enade, especificamente no que diz respeito ao ranqueamento e às generalizações promovidas. Verificou-se que Santos (2010) buscou, entre outros objetivos, identificar de que forma o Enade pode contribuir para a formação profissional dos estudantes, e analisar a avaliação dos coordenadores, professores e egressos sobre os impactos do Enade no Curso de Pedagogia e na formação docente na Universidade do Estado do Pará. Constatou que o boicote à prova em 2005 foi uma das estratégias utilizadas para manifestar resistência ao Enade. De acordo com a autora, o primeiro ciclo avaliativo não fomentou ações para materializar a concepção formativa implícita na proposta, nem uma cultura de avaliação no curso (Santos, 2010). Desempenho dos Estudantes no Enade e Discursos dos Aplicadores Esse eixo incluiu 14 pesquisas, representando 12,3% do total de trabalhos que pretenderam analisar os resultados dos estudantes no Enade, as notas atribuídas aos cursos e às IES, e os discursos de estudantes, professores, gestores e coordenadores em relação a esses resultados. Verificou-se nesses estudos uma tendência em explorar as informações inseridas nos documentos criados pelo Inep, incluindo o manual, os relatórios sínteses dos cursos e os questionários dos estudantes. Esses e outros documentos são disponibilizados pelo Inep e permitem conhecer as notas atribuídas aos cursos e às IES. De modo geral, os trabalhos inseridos nesse eixo reiteram o discurso de qualidade difundido nos documentos do Enade que buscam associar qualidade ao desempenho dos estudantes no exame ou à nota recebida pelo curso, que varia entre 1 a 5. Paiva (2010) buscou diferenciar os resultados da avaliação do desempenho acadêmico entre cursos da educação presencial e cursos a distância. Com base nos resultados do Enade 2008 e dados dos relatórios-síntese, constatou-se que não há diferenças significativas no desempenho acadêmico entre estudantes de cursos a distância e presencial. Também Falcão (2018) investigou os resultados do Enade entre 2007 e 2016 de cursos na modalidade a distância ofertados no Brasil. Entre os resultados, destaca-se a nota baixa recebida pelos cursos, cerca de 82% do total de cursos obtiveram conceito de 1 a 3, e apenas 17,6% Arquivos Analíticos de Políticas Educativas Vol. 30, No. 34 Dossiê 17 alcançaram conceitos 4 ou 5. Entretanto, não houve variações significativas em comparação com os cursos presenciais. Oliveira (2011) traçou um perfil socioeconômico de estudantes egressos da Educação Superior brasileira com base em dados do Enade. Entre outros resultados, o estudo evidenciou que as diferentes expectativas dos estudantes interferem na escolha dos cursos, levando homens brancos, negros e pardos a escolherem cursos da área de ciências exatas e engenharias quando a expectativa é de ganhos futuros. Em contrapartida, os cursos de humanas, em sua maioria, são demandados por mulheres brancas, negras e pardas (Oliveira, 2011). O estudo de Freire (2017) objetivou compreender se o indicador do Enade apontava qualidade nos cursos de Pedagogia de doze universidades privadas da capital paulistana. Para tanto, o autor analisou os relatórios disponibilizados pelo Inep com os resultados destas instituições nos anos de 2005, 2008, 2011 e 2014. Os resultados indicaram maior êxito nas provas pelas universidades que interpretam as Diretrizes Curriculares proposta pelo Mec. Enade como Estratégia de Padronização e Controle Estudos que assumem explicitamente uma análise crítica em relação ao Enade foram incluídos nesse eixo. Assim, foram localizados 3 trabalhos, o que representa 2,6% do total de pesquisas. São estudos que consideram o Enade como estratégia do Estado para promover a regulação e o controle. Verificou-se, nesses trabalhos, uma crítica à concepção de avaliação presente no Enade a qual, segundo os autores, introduz uma perspectiva utilitária, pragmática, objetiva e distante da concepção formativa da avaliação considerada a mais adequada para uma educação de qualidade. Esses estudos, diferentemente dos demais, questionam o discurso de qualidade dos cursos e das instituições, criado a partir de resultados dos estudantes em testes padronizados. Além disso, buscam destacar os componentes ideológicos existentes nas avaliações externas que estariam distorcendo o conceito de avaliação da aprendizagem ao priorizar os aspectos técnicos-operacionais em detrimento da função formativa da avaliação no processo ensino-aprendizagem. Lara (2007) analisou os exames nacionais, entre eles o Enade, entendidos como avaliações produtoras de regimes de verdades sobre os professores de Matemática. A pesquisa envolveu a análise de fontes documentais, diretrizes curriculares e instrumentos elaborados pelo Mec, entre 1998 e 2005. Os resultados indicaram que as exigências do Enade produzem um perfil de professor de Matemática ajustado a sociedade da informação, da globalização, do controle (Lara, 2007). Toledo (2013) investigou a identidade do sujeito-professor-pedagogo que emerge do Enade no curso de Pedagogia e a concepção de letramento que atravessa a prova, na edição do exame de 2011. Os dados revelaram que o manual do Enade e suas diretrizes abordam o conhecimento “como evolutivo e passível de ser administrado por um sujeito-agente, idealizado, centrado e autônomo, conforme postulado pelo paradigma da Modernidade e do Iluminismo, próprio do discurso neoliberal” (Toledo, 2013, s.p.). Segundo a autora, a concepção de letramento esperada do sujeito- professor-pedagogo é idealizada. Trata-se de um sujeito homogêneo e igual a todos. Por fim, Espinosa (2015) analisa as contribuições, limites e desafios do Enade, a partir da entrevista de oito professores de um curso de licenciatura em História, e de dados retirados dos documentos do exame. Constata-se que o Enade é entendido como um instrumento regulatório, os professores têm consciência de que o curso não está a serviço do exame e que o processo contínuo de atualização e aprimoramento do ensino deve considerar diversos fatores, que não se resumem ao conceito estabelecido pelo Ministério da Educação. A pesquisadora evidencia, ainda, que a avaliação, por suas características e fragilidades, pode trazer resultados que não representam a realidade do curso. Estado da Questão Exame Nacional de Desempenho dos Estudantes (Enade): tendências da produção científica brasileira (2004-2018) 18 Nesse eixo foi classificado apenas o trabalho de Muniz (2018) que se propôs a fazer o estado da questão do Enade, um procedimento metodológico com características semelhantes ao estado da arte, ou seja, o mapeamento e a sistematização acadêmica sobre o Enade com base nos estudos que constam no banco de dados da Capes, no período entre 2004 e 2016. Entretanto, diferentemente do estado da arte que além do mapeamento e sistematização busca identificar tendências relacionados a determinados temas, a metodologia adotada no estudo de Muniz (2018) concentrou-se na quantificação da produção selecionada por ela na plataforma da Capes. Por meio de análise quantitativa e descritiva, a autora realizou uma triagem que resultou em 80 produções acadêmicas, sendo 22 teses e 58 dissertações de mestrado. A partir da seleção desses trabalhos, buscou mapear a produção acadêmica considerando aspectos como origem institucional, distribuição geográfica, quantidade, área de conhecimento, ano da produção, sem, no entanto, identificar o conteúdo e as tendências observadas nos resumos das teses e dissertações. Entre os resultados da investigação, verificou-se um aumento de pesquisas sobre o Enade, uma concentração dos estudos na Educação e um maior fluxo de pesquisas na região Sudeste, resultados que coincidem com os dados da pesquisa em pauta. Considerações Finais O presente estudo buscou mapear a produção acadêmica acerca do Enade, no período entre 2004 e 2018, adotando a abordagem própria das pesquisas sobre o Estado da Arte (Calderón & Ferreira, 2011; Ferreira, 2002). Constatou-se um aumento considerável de pesquisas sobre essa temática, assim como um número expressivo de pesquisadores pertencentes a diversas áreas, cursos e IES - públicas e privadas-, distribuídas em todas as regiões do Brasil. Esse levantamento evidencia a importância que as políticas de avaliação vêm assumindo no Brasil, não apenas na Educação Básica, mas também na Educação Superior. Como observou Sacristán (2011), há uma tendência mundial, impulsionada por organismos internacionais, de valorização das avaliações padronizadas como instrumentos estratégicos de mudanças na educação que demandam estudos. Por meio das avaliações, o discurso em favor da educação por competências e habilidades ganha força e se legitima como opção pedagógica para as mudanças curriculares necessárias à identificação das aprendizagens consideradas substantivas, funcionais, úteis, eficazes e promissoras, na superação dos desafios colocados pela sociedade da informação (Sacristán, 2011). Especificamente em relação às tendências observadas nas teses e dissertações apresentadas nesse trabalho, chama a atenção a predominância de estudos que reiteram a concepção de avaliação defendida pelo Enade, ao priorizar os elementos técnicos-operacionais do exame, e a ideia de qualidade educacional dos cursos e IES, entendida como sinônimo de resultados e desempenho em testes padronizados aplicados ao final da formação dos estudantes. A confiança atribuída aos itens de teste padronizados do Enade está hegemonicamente presente nas investigações analisadas nesse trabalho, comparado aos estudos que objetivaram verificar os limites desses instrumentos na perspectiva formativa de avaliação. Com base nas contribuições de Dias Sobrinho (2003; 2010) pode-se afirmar que a ausência de estudos críticos acerca de programas e sistemas de avaliação contribui para a naturalização das políticas de avaliação, sob o risco de negligenciar os componentes ideológicos existentes no campo da avaliação da aprendizagem, campo este muito mais complexo do que os aspectos técnicos- operacionais observáveis na maioria das pesquisas. Por fim, ressalta-se as limitações desse estudo, devido ao caráter seletivo, subjetivo e abrangente identificado na abordagem das investigações que foram selecionadas como exemplos de Arquivos Analíticos de Políticas Educativas Vol. 30, No. 34 Dossiê 19 tendências presente nas pesquisas sobre o Enade. Entretanto, mesmo considerando essas e outras limitações, destaca-se a relevância do levantamento realizado nesse artigo, tendo em vista a importância adquirida pelo o Enade nas pesquisas, nas políticas públicas, na mídia e no interior das IES, possibilitando aos pesquisadores um quadro panorâmico sobre abordagens, temas, e resultados apresentados em teses e dissertações que, espera-se estimulem novas investigações. Referências Afonso, A. J. (2009). Avaliação educacional: Regulação e emancipação: para uma sociologia das políticas avaliativas contemporâneas. Cortez. Almeida, N. de C. (2018). Análise dos determinantes da proficiência dos cursos de Engenharia no Enade 2011 e 2014. [Dissertação, Mestrado Profissional em economia]. Universidade Federal do Ceará, Fortaleza. Alonso, D. F. (2012). O ENADE (Exame Nacional de Desempenho Estudantil) e a gestão dos cursos superiores de tecnologia. [Dissertação, Mestrado em Educação]. Universidade Católica de Santos. Amaral, E. A. (2013). A dimensão regulatória do ENADE na avaliação da educação superior: Suas implicações na gestão e no currículo do curso de Administração da UEG. [Tese, Doutorado em Educação]. Pontifícia Universidade Católica de Goiás, Goiânia. Araújo, F. H. R. (2017). Determinantes do desempenho dos alunos das instituições de ensino superior brasileiras no Enade 2013. [Dissertação, Mestrado Profissional em economia]. Universidade Federal do Ceará, Fortaleza. Bakhtin, M. (1997). Estética da criação verbal. Martins Fontes. Bezerra Junior, A. V. (2016). Análise das provas do exame da OAB e do Enade dos cursos de direito do ano de 2012: À luz da taxonomia dos objetivos educacionais de Benjamin Bloom. [Dissertação, Mestrado em educação]. Universidade Federal do Ceará, Fortaleza. Brasil. (2001). Lei nº 10.172, de 9 de janeiro de 2001. Aprova o Plano Nacional de Educação – PNE e dá outras providências. Diário Oficial da União. Brasil. (2003). SINAES - Sistema Nacional de Avaliação da Educação Superior: Bases para uma nova proposta de avaliação da Educação Superior. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Brasil. (2004). Lei no 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES e dá outras providências. Diário Oficial [da] República Federativa do Brasil, 15 abr. http://www.planalto.gov.br/ccivil_03/_ato2004- 2006/2004/lei/l10.861.htm Brasil. (2005). Sistema Nacional de Avaliação da Educação Superior – SINAES. Manual do Exame Nacional de Desempenho dos Estudantes - Enade. Inep. Brasil. (2009). SINAES – Sistema Nacional de Avaliação da Educação Superior: Da concepção à regulamentação (5. ed., revisada e ampliada). Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Brasil. (2017). Sistema Nacional de Avaliação da Educação Superior – SINAES. Exame Nacional de Desempenho dos Estudantes – Enade. Relatório Síntese de Área (História). Inep. Brito, T. F. (2015). Corpo docente: Fatores determinantes do desempenho discente no ENADE. [Dissertação, Mestrado em Administração]. Universidade De São Paulo, São Paulo. Calderón, A. I., & Ferreira, A. G. (2011). Administração da educação no Brasil: Um diálogo comparativo com as tendências temáticas da Revista Ibero-Americana de Educação. Revista Brasileira de Política e Administração da Educação, 27(2), 321-339. Exame Nacional de Desempenho dos Estudantes (Enade): tendências da produção científica brasileira (2004-2018) 20 Costa, J. P. C. (2013). As questões do ENADE para a Licenciatura em Física. [Dissertação, Mestrado Profissional em ensino]. Pontifícia Universidade Católica de Minas Gerais, Belo Horizonte. Cruz, A. J. (2012). Desempenho dos alunos no Enade de 2009: Um estudo empírico a partir do conteúdo curricular dos cursos de Ciências Contábeis no Brasil. [Dissertação, Mestrado em Ciências Contábeis]. Fundação Instituto Capixaba de Pesquisas em Contabilidade, Economia e Finanças (FUCAPE). Cruz, A. J. (2013). Desempenho dos alunos no Enade de 2009: Um estudo empírico a partir do conteúdo curricular dos cursos de Ciências Contábeis no Brasil. Asaa Journal, 6(2). Dias Sobrinho, J. (2003). Avaliação: Políticas educacionais e reformas da educação superior. Editora Cortez. Dias Sobrinho, J. (2010). Avaliação e transformações da educação superior brasileira (1995-2009): Do provão ao Sinaes. Avaliação, 15(1), 195-224. Duarte, B. K. C., Ferri, C., & Lacerda, L. L. V. (2016). SINAES: Avaliação, accountability e desempenho. Avaliação, 21, 975-992. Espinosa, S. M. (2015). Licenciatura em história: contribuições, limites e desafios dos professores frente ao Exame Nacional de Desempenho dos Estudantes – Enade. [Dissertação, Mestrado em Educação, Arte e História da Cultura]. Universidade Presbiteriana Mackenzie, São Paulo. Falcão, L. C. (2018). Qualidade dos cursos em EaD ofertados no Brasil à luz do Enade no período de 2007 a 2016. [Dissertação, Mestrado Profissional em administração pública]. Instituto Brasiliense de Direito Público, Brasília. Fernandes, A. O., Batista, M. C., & Gomes, S. S. (2018). A concepção do ANDES-SN sobre o ENADE. XXVI Seminário Nacional Universitas. Anais. Universidade Federal de Minas Gerais – UFMG, Belo Horizonte. Ferreira, N. S. A. (2002). As pesquisas denominadas “Estado da Arte”. Educação & Sociedade, XXIII(79), 257-272. Fonseca, D. G. (2008). Implicações do Exame Nacional de Desempenho dos Estudantes (Enade) nos processos avaliativos internos do curso de educação física do IPA. [Tese, Doutorado em Educação]. Universidade do Vale do Rio dos Sinos. Porto Alegre. Freire, L. A. P. (2017). Avaliação e qualidade no curso de pedagogia: Os resultados do Enade das universidades privadas da capital paulistana. [Dissertação, Mestrado em Educação]. Universidade Cidade de São Paulo, São Paulo. Gomes, R. C. O. (2015). Estudo para análise do desempenho dos estudantes concluintes dos cursos superiores de tecnologia utilizando valor agregado - ENADE 2012. [Dissertação, Mestrado Profissional em Métodos e Gestão em Avaliação]. Universidade Federal de Santa Catarina, Florianópolis. Gomes, S. S., & Melo, S. G. D. (2018). Políticas de avaliação e gestão educacional: Articulações, interfaces e tensões. Educação e Realidade, 43(4), 1199-1216. http://dx.doi.org/10.1590/2175- 623688386. Gutiérrez, R. S. (2015). Alunos que ingressaram no ensino superior por ações afirmativas apresentam melhor desempenho? Uma análise empregando a decomposição de oaxaca para o Enade 2012. [Dissertação, Mestrado em Economia]. Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre. Lara, I. C. M. (2007). Exames Nacionais e as “verdades” sobre a produção do professor de matemática. [Tese, Doutorado em educação]. Universidade Federal do Rio Grande do Sul, Porto Alegre. Lopes, F. L. (2011). Equalização de provas de habilidades acadêmicas: Estudos a partir do Enade via TRI. [Dissertação, Mestrado em psicologia]. Universidade São Francisco, Bragança Paulista. Lopes, F. L. (2014). Construção de uma escala de atitudes discente frente ao Enade. [Teses, Doutorado em psicologia]. Universidade São Francisco, Campinas. http://dx.doi.org/10.1590/2175-623688386 http://dx.doi.org/10.1590/2175-623688386 Arquivos Analíticos de Políticas Educativas Vol. 30, No. 34 Dossiê 21 Lopes, S. M. A. (2016). O SINAES, o Enade e a formação geral dos estudantes da educação superior: Um estudo de intervenção. [Tese, Doutorado em educação]. Universidade Estadual de Campinas, Campinas. Mota, M. A. (2015). Representações de "outros" nas questões de formação geral das provas do Enade. [Dissertação, Mestrado em educação]. Universidade Luterana do Brasil, Canoas/RS. Muniz, A. A. L. (2018). O Enade em debate: O estado da questão na produção acadêmica entre 2004 e 2016. [Dissertação, Mestrado em Educação]. Universidade Cidade de São Paulo, São Paulo. Nogueira, S. O. (2008). Enade: análise de itens de formação geral e de estatística pela TRI. [Dissertação, Mestrado em Psicologia]. Universidade São Francisco. São Paulo. Novossate, S. (2010). O Enade e os Documentos Curriculares: Um estudo sobre a formação de professores de biologia. [Dissertação, Mestrado em Educação]. Universidade Federal do Paraná, Curitiba. Oliveira, K. S. (2006). Avaliação do Exame Nacional de Desempenho do Estudante pela teoria de resposta ao item. [Dissertação, Mestrado em Psicologia]. Universidade São Francisco. São Paulo. Oliveira, M. J. G. (2011). Um perfil de concluintes do curso superior com base no ENADE (2005). [Dissertação, Mestrado em Economia]. Universidade Estadual Paulista Júlio de Mesquita Filho/Araraquara, Araraquara. Paiva, G. S. (2010). Exame Nacional de Desempenho dos Estudantes - Enade: Recortes da educação superior presencial e a distância. [Dissertação, Mestrado em educação]. Universidade Católica de Brasília, Brasília. Polizel, C. E. de G. (2010). A representatividade do Enade e sua influência nos fatores críticos de sucesso relacionados à gestão do conhecimento em uma instituição de educação superior privada. [Dissertação, Mestrado em administração de empresas]. Fundação Instituto Capixaba de Pesquisa em Contabilidade Economia e Finanças, Vitória, 2010. Reis, C. de B. (2009). O uso dos resultados do Exame Nacional de Desempenho dos Estudantes de física da Universidade de Brasília e da Universidade Católica de Brasília - 2005. [Dissertação, Mestrado]. Universidade de Brasília. https://repositorio.unb.br/bitstream/10482/3974/1/2009_CarladeBorjaReis.pdf Rodrigues, V. A. (2008). Enade - contribuições, avanços e limites do processo de avaliação na formação dos estudantes de graduação. [Dissertação, Mestrado]. Curso de Educação, Universidade Federal de Minas Gerais, Belo Horizonte. Rothen, J. C., & Santana, A. C. M. (Orgs.) (2018). Avaliação da educação: Referencias para uma primeira conversa. EdUFSCar. Sacristán, J. G. (2011). Educar por competências: O que há de novo? Artmed. Santos, V. G. (2010). Os impactos do Exame Nacional de Desempenho dos Estudantes do curso de pedagogia da Universidade do Estado do Pará. [Dissertação, Mestrado em educação]. Instituição de Ensino: Universidade do Estado do Pará, Belém. Silva, A. V. da (2018). O Enade e os cursos de graduação tecnológica: Uma análise das práticas da gestão pedagógica. [Tese, Doutorado em Educação]. Universidade Metodista de São Paulo. Silva, D. F. (2016). Efeito do trabalho no desempenho de alunos no Enade. [Dissertação, Mestrado Profissional em gestão de organizações públicas]. Universidade Federal de Santa Maria, Santa Maria/RS. Silva, F. A. B. (2007). Avaliação de proficiência no ensino médico e de enfermagem: Exame Nacional de Cursos (Provão) versus Exame Nacional de Desempenho de Estudantes (Enade). [Dissertação, Mestrado em Educação]. Universidade Católica de Brasília. Brasília. Silva, G. J. C., & Silva, C. L. (2008). Avaliação do ensino superior no Brasil: O SINAES sob holofotes! Revista Processus de Estudos de Gestão, Jurídicos e Financeiros, 3(7). https://repositorio.unb.br/bitstream/10482/3974/1/2009_CarladeBorjaReis.pdf Exame Nacional de Desempenho dos Estudantes (Enade): tendências da produção científica brasileira (2004-2018) 22 Silva, M. R. V. (2009). Avaliação de rede no ensino superior: Uma análise da abordagem de gêneros em questões discursivas do Enade. [Dissertação, Mestrado em Linguística]. Universidade Federal da Paraíba. João Pessoa. Toledo, J. R. (2013). A (des)construção do letramento do sujeito-professor-pedagogo no Enade-Pedagogia: Uma análise discursiva. [Dissertação, Mestrado em educação]. Universidade São Francisco, Itatiba. Valluis, M. A. (2014). O Enade (Exame Nacional de Desempenho de Estudantes) sob a ótica de alunos de administração. [Dissertação, Mestrado em educação]. Universidade Católica de Santos. Verhine, R. E. (2015). Avaliação e regulação da educação superior: Uma análise a partir dos primeiros 10 anos do SINAES. Avaliação, 20(3), 603-619. Waldrigues, M. C. (2014). Implicações do Enade: Percepção dos coordenadores de cursos de graduação em enfermagem de Curitiba – PR.[Dissertação, Mestrado em educação]. Universidade Federal do Paraná, Curitiba. Sobre os Autores Alex de Oliveira Fernandes Universidade Federal de Minas Gerais (UFMG) E-mail: alexofernandes@yahoo.com.br ORCID: https://orcid.org/0000-0003-1295-3477 Doutorando do Programa de Pós-Graduação em Educação: Conhecimento e Inclusão Social. Mestre em Educação pela UFMG. Professor de História da Educação Básica na Rede Pública Municipal de Ensino em Belo Horizonte e Contagem. Membro do Grupo de Pesquisa-Ação sobre Universidade e Educação Superior – Universitátis/FaE/UFMG. Suzana dos Santos Gomes Universidade Federal de Minas Gerais (UFMG) E-mail: suzanasgomes@fae.ufmg.br ORCID: http://orcid.org/0000-0002-8660-1741 Pós-Doutora em Educação pela Universidade de Lisboa (UL) e Universidade de São Paulo (USP). Professora Associada da Universidade Federal de Minas Gerais (UFMG). Pesquisadora e professora do Programa de Pós-Graduação em Educação: Conhecimento e Inclusão Social. Líder do Grupo de Pesquisa-Ação sobre Universidade e Educação Superior - Universitátis/FaE/UFMG. Sobre os Editores Suzana dos Santos Gomes Universidade Federal de Minas Gerais E-mail: suzanasgomes@fae.ufmg.br ORCID: http://orcid.org/0000-0002-8660-1741 Pós-Doutora em Educação pela Universidade de Lisboa (UL) e Universidade de São Paulo (USP). Professora Associada da Universidade Federal de Minas Gerais (UFMG). Pesquisadora e professora do Programa de Pós-Graduação em Educação: Conhecimento e Inclusão Social. Líder do Grupo de Pesquisa-Ação sobre Universidade e Educação Superior - Universitátis/FaE/UFMG. https://orcid.org/0000-0003-1295-3477 https://orcid.org/0000-0003-1295-3477 http://orcid.org/0000-0002-8660-1741 http://orcid.org/0000-0002-8660-1741 http://orcid.org/0000-0002-8660-1741 Arquivos Analíticos de Políticas Educativas Vol. 30, No. 34 Dossiê 23 Savana Diniz Gomes de Melo Universidade Federal de Minas Gerais E-mail: sdgmufmg2@gmail.com ORCID: https://orcid.org/0000-0003-0415-5344 Pós-Doutora em Educação pela Universidade de La Coruña (UDC) Professora Associada da Universidade Federal de Minas Gerais (UFMG). Pesquisadora e professora do Programa de Pós- Graduação em Educação: Conhecimento e Inclusão Social. Vice Líder do Grupo de Pesquisa-Ação sobre Universidade e Educação Superior - Universitátis/FaE/UFMG. Felipe Zurita Garrido Universidad Metropolitana de Ciencias de la Educación E-mail: felipe.zurita@umce.cl ORCID: https://orcid.org/0000-0002-4136-4340 Doutor em Educação pela Universidade Federal de Minas Gerais (Brasil). Pesquisador e professor Associado do Departamento de Educação Básica da Faculdade de Filosofia e Educação da Universidade Metropolitana de Ciências da Educação. Temas de interesse: história da Educação, políticas educacionais e ensino de História e das Ciências Sociais. Dossiê Especial Educação Superior na América Latina em Tempos de Crise Volume 30 Número 34 15 de março 2022 ISSN 1068-2341 Este artigo pode ser copiado, exibido, distribuido e adaptado, desde que o(s) autor(es) e Arquivos Analíticos de Políticas Educativas sejam creditados e a autoría original atribuídos, as alterações sejam identificadas e a mesma licença CC se aplique à obra derivada. Mais detalhes sobre a licença Creative Commons podem ser encontrados em https://creativecommons.org/licenses/by-sa/4.0/. Arquivos Analíticos de Políticas Educativas é publicado pela Mary Lou Fulton Teachers College, Arizona State University. Os artigos que aparecem na AAPE são indexados em CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). Sobre o Conselho Editorial: https://epaa.asu.edu/ojs/index.php/epaa/about/editorialTeam Para erros e sugestões, entre em contato com Fischman@asu.edu EPAA Facebook (https://www.facebook.com/EPAAAAPE) Twitter feed @epaa_aape. https://orcid.org/0000-0003-0415-5344 https://orcid.org/0000-0002-4136-4340 https://creativecommons.org/licenses/by-sa/4.0/ http://www.doaj.org/ https://epaa.asu.edu/ojs/index.php/epaa/about/editorialTeam https://www.facebook.com/EPAAAAPE