Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior: Meta-avaliação dos relatórios das comissões Página web: http://epaa.asu.edu/ojs/ Artigo recebido: 22/7/2020 Facebook: /EPAAA Revisões recebidas: 13/11/2020 Twitter: @epaa_aape Aceito: 22/11/2020 arquivos analíticos de políticas educativas Revista acadêmica, avaliada por pares, independente, de acesso aberto, e multilíngue Arizona State University Volume 29 Número 59 3 de maio de 2021 ISSN 1068-2341 Preditores do Sucesso nas Políticas de Organização Didático-Pedagógica do Ensino Superior: Meta-Avaliação dos Relatórios das Comissões Cléber Augusto Pereira Universidade Federal do Maranhão Brasil Joaquim Filipe Ferraz Esteves de Araújo Universidade do Minho Portugal Maria de Lourdes Machado Centro de Investigação de Políticas do Ensino Superior Portugal Citação: Pereira, C. A., Araújo, J. F. E. de, & Machado, M. de L. (2021). Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior: Meta-avaliação dos relatórios das comissões. Arquivos Analíticos de Políticas Educativas, 29(59). https://doi.org/10.14507/epaa.29.5839 Resumo: O estudo procura identificar os preditores de sucesso nos relatórios de avaliação de cursos do Ensino Superior (ES) entre 2018-2019. Utilizou-se métodos mistos de pesquisa, combinando análises qualitativas e quantitativas aplicadas sobre o conteúdo textual. Na análise de conteúdo foram realizadas a Classificação Hierárquica Descendente, Análise de Similitude e Nuvem de Palavras. Os resultados sugerem como preditores de sucesso na Organização Didático-Pedagógica as classes: componentes do processo de ensino-aprendizagem; http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.29.5839 Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 2 características de excelência dos cursos; expectativas científicas na formação; os discentes e; procedimentos de Garantia da Qualidade (GQ). A formalização da GQ como elemento das avaliações pelo INEP poderia levar à melhoria do controle dos processos no ensino superior brasileiro. Palavras-chave: Avaliação de cursos; Ensino superior; Relatórios de avaliação; Avaliação in loco; Análise de similitude Predictors of success in the didactic-pedagogical organization of higher education: Meta-evaluation of the reports of the commissions Abstract: The study seeks to identify the predictors of success in the evaluation reports of higher education (HE) courses between 2018-2019. Mixed-methods research was used, combining qualitative and quantitative analysis applied to textual content. In the content analysis, the Descending Hierarchical Classification, Similitude Analysis and Word Cloud were performed. The results suggest predictors of success in the Didactic-Pedagogical Organization include the following: components of the teaching-learning process, characteristics of excellence within the courses, scientific expectations in training, the students, and Quality Assurance (QA) procedures. The formalization of QA as a vital element in assessments by INEP could lead to improved processes within Brazilian higher education. Keywords: Course evaluation; Higher Education; Evaluation report; In loco assessment; Similitude analysis Predictores de éxito en la organización didáctico-pedagógica de la educación superior: Metaevaluación de los informes de las comisiones Resumen: El estudio busca identificar los predictores de éxito en los informes de evaluación de los cursos de Educación Superior (ES) entre 2018-2019. Se utilizó la investigación de métodos mixtos, combinando análisis cualitativos y cuantitativos aplicados al contenido textual. En el análisis de contenido, se realizaron la Clasificación jerárquica descendente, el Análisis de similitud y la Nube de palabras. Los resultados sugieren como predictores de éxito en la Organización Didáctico-Pedagógica las clases: componentes del proceso de enseñanza- aprendizaje; características de excelencia de los cursos; expectativas científicas en formación; estudiantes y; procedimientos de Garantía de Calidad (GC). La formalización del GC como elemento vital en las evaluaciones por parte del INEP podría conducir a un mejor control de los procesos en la enseñanza superior brasileña. Palabras-clave: Evaluación del curso; Enseñanza superior; Informes de evaluación; Evaluación en el sitio; Análisis de similitud Introdução Organizações internacionais têm proposto modelos padronizados de avaliação aplicáveis ao Ensino Superior (ES) como exemplo, a Joint Committee on Standards for Educational Evaluation (JCSEE), que estabeleceu padrões internacionais de avaliação e meta-avaliações e os compilou na forma de manual de orientação (Yarbrough et al., 2011). Em uma análise nos processos de avaliação e acreditação dos cursos de ES implementados na América Latina, Lamarra e Centeno (2016) identificaram a predominância de uma tendência à burocratização, com características processuais normativas e formais indicando ambiguidade excessiva e imprecisões nas concepções e definições de qualidade utilizadas. No cenário nacional, a avaliação dos cursos de ES é realizada através da prova do Exame Nacional de Desempenho dos Estudantes (ENADE) que avalia as saídas das universidades através Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 3 das notas dos alunos. Esta característica de utilizar a nota de alunos para avaliar cursos e Instituições de Ensino Superior (IES) é uma peculiaridade sui generis e tem despertado elogios e inúmeras críticas das agências de avaliação e acreditação internacionais (Pereira et al., 2018, 2020; Pinto et al., 2016).Quando as notas do ENADE não alcançam o patamar médio de 3, numa escala de 1 a 5, os cursos passam a ter a obrigatoriedade de receber visitas in loco da comissão de especialistas da área nomeados pelo INEP (Rossit & Storani, 2010). A comissão de especialistas avalia e pontua, o curso ou a instituição, a partir de três dimensões: Organização Didático-Pedagógica; Corpo Docente e Tutorial; e Infraestrutura. Neste cerne, realizou-se uma meta-avaliação sobre o resultado dos relatórios de avaliação das comissões de especialistas do ES durante a visita in loco, da dimensão de Organização Didático- Pedagógica. Esta dimensão fomenta as políticas institucionais aplicadas no âmbito dos cursos, definições de estrutura curricular e objetivos dos cursos, o perfil profissional esperado, além de avaliar os principais mecanismos e atividades inerentes ao ensino. A análise procurou identificar quais os componentes ou fatores que podem influenciar o sucesso na avaliação da dimensão Organização Didático-Pedagógica quando da ocorrência da avaliação in loco pelo INEP? A partir da análise monotemática dos conteúdos textuais da dimensão Organização Didático-Pedagógica de uma amostra de 12 relatórios de avaliação de cursos do INEP, referente a 11 cursos distintos, de 10 estados brasileiros procurou-se identificar os fatores de sucesso da avaliação institucional. Todos os relatórios avaliados são atuais, realizados no período entre 2018 e 2019. Revisão de Literatura Avaliação e Acreditação na América Latina Ao comentar os principais problemas do ES na América Latina (AL) Lamarra e Centeno (2016, p. 132) destacaram a falta de flexibilidade, atualização e mudança de projetos curriculares. Os autores ressaltam a disparidade nos currículos, apresentando estes objetivos, qualificações e duração de estudos de formação muito diferentes. Os autores observaram ainda que fatores como a privatização do ES, a grande oferta de novas universidades privadas, a competição interinstitucional por matrícula, e mecanismos não acadêmicos de controle ou responsabilização também se constituem fatores problemáticos ao ES (Lamarra & Centeno, 2016, p. 134). Na avaliação do ES na AL, a elevada participação dos pares acadêmicos nos processos de avaliação e acreditação, tem transferido a concepção da “cultura de gestão responsável e avaliação” (Lamarra & Centeno, 2016, p. 139) para as autoridades universitárias, o que resultou em uma contribuição positiva para todo o sistema universitário. Com o crescimento desenfreado do ES na AL (Lamarra & Cóppola, 2007, p. 18) foram criados diversos tipos de IES universitárias e não universitárias, em sua maioria privadas, como tentativa de atender a demanda crescente do mercado e, neste cenário, não foram previamente pensados em critérios de qualidade e de pertinência institucional. Amaral (2003, p. 93) analisou o crescimento do ES no Brasil pela ótica do financiamento: a) a universidade de pesquisa, modelo humboldtiano1 é de alto custo; b) as instituições não universitárias que contribuíram para atender à demanda crescente por ES a um custo muito baixo; e, 1 A concepção de Humboldt da universidade traz em sua essência a “divisão das instituições científicas superiores e os diversos tipos de instituição resultantes desta divisão” (Humboldt, 2003, pp. 91–99). Silveira e Bianchetti (2016, p. 84–85) explicam que o modelo humboldtiano assume a universidade como uma instituição que goza de autonomia relativa na produção do conhecimento, em relação estreita com os interesses do Estado [...] põe a pesquisa científica no centro das relações universitárias. Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 4 c) a expansão do setor privado provocaria uma melhor adequação do sistema de ES às exigências do quase-mercado educacional, além de se efetivar a um custo muito mais baixo para o Fundo Público. Nos processos de avaliação e acreditação, implementados na região, predomina uma tendência à burocratização, com características processuais normativas e formais indicando ambiguidade excessiva e imprecisões nas concepções e definições de qualidade utilizadas. Em contraste, há um limitado desenvolvimento conceitual e metodológico para a avaliação e acreditação de aspectos de natureza pedagógica, como currículos, conteúdos curriculares, profissionalização de professores, metodologia de avaliação, etc. Em geral, sua avaliação é limitada à obtenção de dados quantitativos ou relatos das entrevistas que realizam (Lamarra & Centeno, 2016, p. 140). Santos (2016), relatando sua dupla experiência, como avaliadora de curso e expertise no lado da instituição avaliada, compara o processo de avaliação in loco com um ritual de performance: percebo que a chegada à Instituição impõe, independente da vontade de ambas as partes, certo suspense, considerando que tais interações se impõem de forma coercitiva, induzindo os atores a representarem comportamentos ditos de fachada. Os momentos das visitas me parecem verdadeiras fachadas, com representações sociais criadas para atender aos indicadores da qualidade definidos externamente à realidade institucional. (p. 9) Isso é o que Porter (2003, pp. 13–14), referindo-se aos processos de avaliação no México, denomina de “universidades de papel”, em virtude de, muitas vezes, nos documentos a serem preparados para os processos de avaliação e acreditação, é apresentada uma representação social da instituição que não se refere necessariamente à imagem da instituição real. Instrumentos de Avaliação Adotados nas Visitas in Loco no ES do Brasil Estudos recentes têm investigado e criticado os instrumentos de avaliação utilizados pelas comissões de especialistas da avaliação do ES quando das avaliações in loco (Bertolin, 2019; De Souza et al., 2018; Guerra, 2019; Haas, 2017; Loss et al., 2018; Rosini et al., 2018; Sturges, 2014). Outro cenário bastante discutido na literatura atual refere-se ao comportamento dos auditores durante as avaliações in loco (Chanan-Silva & Ferreira, 2018; Costa et al., 2018; Duarte et al., 2016). Bertolin (2019, p. 183) analisou a adequação conceitual e técnica dos instrumentos avaliativos empregados pelo Sistema Nacional de Avaliação da Educação Superior (SINAES) no Brasil, questionando se “no âmbito da avaliação dos cursos, os instrumentos empregados pelo SINAES conseguem ‘separar o joio do trigo?’” O autor destaca que, de forma sistêmica, as visitas in loco avaliam as “entradas” e os “processos” por meio da verificação do corpo docente, da infraestrutura e da implementação do Projeto Pedagógico do Curso (PPC). Ao avaliar alguns indicadores do Instrumento de Avaliação dos Cursos de Graduação (IACG), Silva (2013, pp. 78–80) somente identificou características consideradas de relevância nas dimensões dos indicadores qualitativos: objetivos dos cursos; conteúdos curriculares e laboratórios didáticos especializados. Contudo, o estudo criticou a falta de características de gradação de intensidade, univocidade, padronização, e rastreabilidade nos demais indicadores do IACG. Há três indicadores utilizados para avaliar mais de trinta mil cursos superiores no Brasil durante as visitas in loco: objetivos dos cursos, conteúdos curriculares e laboratórios didáticos especializados. Quando se questiona quanto à sua utilidade e confiança, eles podem distorcer os resultados da avaliação (Bertolin, 2019, p. 189). O mesmo estudo evidenciou que as visitas in loco têm atribuído conceitos, na maioria dos casos, superiores aos resultados do Enade, que avaliam as saídas pelas notas dos alunos e geram a obrigatoriedade de visitas de comissão de avaliadores quando os conceitos são inferiores a 3. Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 5 Um curso com o conceito 3, considerado bom, evita os procedimentos de supervisão ou protocolo de compromisso com o Ministério da Educação, dispensando também as visitas in loco dos avaliadores externos (Rosini et al., 2018, p. 120). Quanto ao IACG, os autores afirmam que o modelo atual de Avaliação de Cursos de Graduação, que calcula o Conceito do Curso (CC), via sistema e-MEC, é feito com base na média aritmética ponderada dos conceitos das dimensões avaliadas: Organização Didático-Pedagógica, Corpo Docente e Tutorial, e a Infraestrutura da IES. Dimensões e Indicadores Avaliados in Loco Durante a avaliação de cursos, a comissão de especialistas verifica 80 indicadores distribuídos entre as três dimensões avaliadas pelo INEP (INEP, 2016b), além de reunir-se com o corpo docente, com os alunos, com a Comissão Própria de Avaliação (CPA), com o coordenador do curso e dirigentes da IES (Pereira et al., 2018). A primeira dimensão avaliada, a Organização Didático-Pedagógica, está fundamentada na análise e coerência do Plano de Desenvolvimento Institucional (PDI), que denota o planejamento de médio e longo prazo da IES e no PPC que reflete a proposta e a estrutura do curso analisando a matriz curricular, o perfil do egresso, as formas de avaliação, conteúdo programático, entre outras informações (Rosini et al., 2018, p. 121). A Tabela 1 apresenta os principais indicadores avaliados na dimensão Organização Didático- Pedagógica. Desde a última reforma do sistema de avaliação brasileiro ocorrida em 2016, na dimensão Organização Didático-Pedagógica, foram incluídos dois novos indicadores: Responsabilidade Social e Participação dos discentes no acompanhamento e avaliação do PPC (INEP, 2016a). Tabela 1 Indicadores da Organização Didático-Pedagógica Indicadores Contexto educacional Atividades Complementares Número de vagas Políticas institucionais no curso Trabalho de Conclusão de Curso Atividades práticas de ensino Objetivos do curso Apoio ao discente Responsabilidade Social Perfil profissional do egresso Ações decorrentes dos processos de avaliação do curso Procedimentos de avaliação dos processos de ensino-aprendizagem Estrutura curricular Atividades de Tutoria Integração do curso - Comunidade Conteúdo curriculares TICs2 no processo ensino- aprendizagem Participação discente no acompanhamento e avaliação do PPC Metodologia Material didático institucional Estágio Curricular Supervisionado Mecanismos de interação entre docentes, tutores e estudantes Fonte: Adaptado de INEP (2016a). O indicador de Responsabilidade Social é avaliado como diretriz na missão social da IES e deve considerar os aspectos: oportunidades para a comunidade acadêmica exercitar a responsabilidade social; existência de parcerias e contribuição para a concepção, planejamento e execução das atividades educacionais. O indicador de Participação dos discentes no PPC prevê a oportunidade de normalizar a participação dos alunos nas atividades de revisão e avaliação do PPC com o corpo docente (INEP, 2016a, p. 23). 2 Tecnologias da Informação e Comunicação. Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 6 A avaliação externa, in loco, é realizada por membros externos, nomeados pelo INEP. A comissão é constituída por membros da comunidade acadêmica e científica, reconhecidos pela capacidade em sua área e portadores de ampla compreensão das IES (Pereira et al., 2018). Na avaliação externa são exigidos os padrões mínimos de qualidade para o ES expressos nos IACG específicos e nos relatórios das autoavaliações institucionais (INEP, 2016a). O órgão colegiado responsável pelo acompanhamento dos processos periódicos de avaliação institucional externa e de avaliação dos cursos de graduação das IES, é a Comissão Técnica de Acompanhamento da Avaliação (CTAA) instituída pela Portaria no. 388 do Ministério da Educação (2016). O cenário de atuação da CTAA (Figura 1) foi mapeado por Pereira et al. (2018), retrata os componentes das comissões de avaliação in loco que são compostas por 3 a 8 membros externos, selecionados do cadastro nacional de avaliadores denominado de Banco de Avaliadores (BASis). O BASis é composto por 4.495 avaliadores institucionais e 8.992 avaliadores de cursos distribuídos pelo país (Portaria n°. 900 de 5 de outubro do INEP, 2019). Figura 1 Mapeamento da Avaliação Externa (in loco) do Sinaes Fonte: Traduzido de Pereira et al. (2018, p. 8). Ao apresentar o modus operandi da avaliação externa e revisar os indicadores de qualidade em uso, podemos avançar no objetivo de meta-avaliar, na dimensão de Organização Didático- Pedagógica, quais são as classes de componentes que, quando bem aproveitados, podem influenciar o sucesso dos cursos durante a avaliação in loco pelas comissões de especialistas em avaliação nomeados pelo INEP. Metodologia Pelas características deste estudo, propõe-se a combinação de abordagens qualitativas e quantitativas, denominada de Mixed Methods Research (Tashakkori & Teddlie, 1998; Teddlie & Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 7 Tashakkori, 2009). Conduzindo um conjunto de procedimentos para coleta e análise de dados quantitativos e qualitativos (Tashakkori & Teddlie, 2010). A utilização de Mixed Methods é uma tendência emergente no meio acadêmico, neste estudo que combina inúmeros relatórios em um corpus textual de análise único, a utilização de mixed methods favorece a descoberta de associações entre os textos de grande vulto, que seriam mais difíceis de serem avaliados sem esta técnica. Recorremos à utilização do software Iramuteq com análises quantitativas convencionais aplicadas sobre conteúdo textual, na tentativa de melhorar a representação dos dados analisados e legitimar as combinações dela decorrentes, no sentido da representação e legitimação sugeridas por Onwuegbuzie e Teddlie (2003). O Corpus de Análise Realizou-se a análise qualitativa dos dados obtidos dos relatórios de avaliação do INEP, oriundos de avaliações de comissão de especialistas realizadas in loco, que foram publicados pelas Universidades e Institutos Federais em seus respectivos sítios eletrônicos. Ao total, foram analisados 12 relatórios de avaliações do período entre 2018 e 2019. Os relatórios utilizados são públicos e encontram-se disponíveis nos sítios dos cursos listados a seguir em formato de PDF. Os relatórios apresentam resultados dos cursos de graduação em: Tecnologia de alimentos, Engenharia civil, Licenciatura em matemática, Administração, Bacharelado em artes visuais, Sociologia, Arquitetura e urbanismo (2 cursos), Tecnologia em construção de edifícios, Física, História e Nutrição. Os cursos avaliados estão distribuídos pelo Brasil, localizados em 10 estados: Alagoas, Amapá, Goiás, São Paulo (2), Ceará (2), Minas Gerais, Rio Grande do Norte, Paraíba, Maranhão e Paraná. São cursos de diversas modalidades de ES: licenciaturas, bacharelados e Cursos Superiores de Tecnologia (CST), com tempo de duração distintos e ofertados por Universidades Públicas, Privadas e Institutos Federais. Os relatórios avaliam integralmente a três dimensões: Organização Didático Pedagógica, Corpo Docente e Tutorial, e Infraestrutura. Para efeito deste estudo, foi escolhida a dimensão “Organização Didático Pedagógica”. Esta considera as principais fontes de consulta que envolvem os atores3 do processo de ensino aprendizagem: a) Plano de Desenvolvimento Institucional (PDI); b) Projeto Pedagógico do Curso (PPC); c) Relatório de Autoavaliação Institucional; d) Políticas Institucionais; e) Diretrizes Curriculares Nacionais (DCN) e Catálogo Nacional dos Cursos Superiores de Tecnologia. Os 12 relatórios de avaliação de curso do INEP compuseram o Corpus textual de análise que apresentou um total de 19.707 ocorrências de palavras ou tokens. No corpus textual monotemático, representado pelas informações da Organização Didático Pedagógica dos cursos foram criadas cinco variáveis para classificação dos objetos e modalidades de análise. As variáveis servem como marcação de valores para filtragem dos conteúdos textuais, e neste estudo, apresentaram-se precedidas por asteriscos, por regra de processamento no software. As variáveis descritivas foram incluídas como cabeçalhos de metadados em cada relatório dentro do corpora completo, fornecendo uma marcação estrutural que permitiu distinguir os diferentes conteúdos dentro de um mesmo corpus textual: *rel_00 a rel_11 – representando os relatórios; *curso_nome - representando os cursos; *univ_nome - representando as IES; *estado_nome – estado em que opera a IES; *periodo_mes_ano – mês e ano em que ocorreu a visita in loco; *notafinal_1_a_5 – nota final atribuída ao curso. Os valores individuais destas variáveis foram utilizados neste estudo e podem ser observados nas citações dos excertos apresentados na seção de resultados. As palavras compostas de todo o corpus textual foram conectadas por underlines para garantir sua representação dentro do contexto e realizar seu processamento por software. Por exemplo, o 3 Professores, coordenadores de curso, corpo administrativo, gestores e legislação. Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 8 termo mercado de trabalho foi padronizado como “mercado_de_trabalho”. Em contrapartida, para estas ocorrências não é possível realizar a análise léxica e utilização de sinônimos destes vocábulos, por não existirem no dicionário de dados do software. Todo o corpus textual teve de ser adaptado e revisado antes de seu processamento, eliminando os símbolos e espaços entre parágrafos, dentre outros requisitos. O objetivo da padronização do corpus textual foi de qualificar seus elementos utilizando categorias lexicais e/ou semânticas e quantificá-las, ao analisar a composição e frequência de ocorrência dos seus elementos textuais. Técnica de Análise de Conteúdo Aplicada aos Relatórios A Análise Qualitativa de Dados (AQD) é representada pelo conjunto de abordagens, métodos e ferramentas computacionais que auxiliam na descoberta da informação contida em um corpus textual (Lebart & Salem, 1994). Para esta organização do corpus textual, foram realizadas operações com o auxílio do software Iramuteq (Camargo & Justo, 2013) envolvendo as análises lexicais e contagem de palavras; seguida pela análise semântica: que identificou automaticamente, possíveis conceitos contidos no conteúdo. Por se tratar de um grande volume de dados contidos nos relatórios, 19.707 palavras, a utilização do software colaborou com o trabalho do pesquisador, aumentando a capacidade de conhecimento do corpus e sugerindo substitutos para o texto que ajudaram a revelar suas estruturas lexicais e semânticas (Benzecri, 2007; Fallery & Rodhain, 2007). As escolhas feitas para aplicação das análises deste estudo seguem a lógica proposta por Fallery e Rodhain (2007), que afirmam ser inúmeros os fatores que podem determinar a escolha do tipo de análise a ser utilizado: o quadro metodológico do estudo, o envolvimento do pesquisador, o eixo temporal, o objetivo da análise (neste caso baseado na interpretação conjunta de um conjunto de relatórios), o tamanho e a legibilidade, e a homogeneidade do corpus (aqui múltiplas avaliações em uma única temática), a estruturação da linguagem; e o momento da análise estatística aplicada ao texto (ex-post). Realizou-se primeiro a Classificação Hierárquica Descendente (CHD), utilizando-se do procedimento sugerido por Reinert (1990) e validado estatisticamente por Benzecri (2007). O procedimento consistiu em dividir o corpus textual em classes temáticas homogêneas de acordo com as palavras ou conceitos que contêm. A análise revela as estruturas temáticas do texto (Reinert, 1990). Estas estruturas foram reveladas pela visualização em nuvem de palavras específicas de cada classe. A CHD ocorre por iterações sucessivas a partir de uma análise fatorial das correspondências múltiplas (Benzecri, 2007) sendo um procedimento exploratório e multivariado aplicável a tabelas de contingência que envolvam duas ou mais variáveis categóricas como é o caso, permitindo revelar relações e semelhanças existentes as categorias que não seriam detectadas em comparações de variáveis aos pares. Em seguida foi feita a composição das classes temáticas, definida a nomenclatura individual adequada para cada uma, caracterizando seu conteúdo através da análise das ocorrências de Segmentos de Textos (ST), frequência de ocorrência das formas e análise do χ2 (qui-quadrado) de cada forma. O teste do χ2 é funcional para avaliar a associação existente entre variáveis qualitativas. Para identificar as classes temáticas mais utilizadas nos relatórios, e expressar os pontos mais relevantes da avaliação, foi identificado o vocabulário mais relevante em cada segmento de texto, pelo cálculo das distâncias e proximidades entre as palavras, usando testes do χ2, como proposto por Camargo e Justo (2013, p. 516). Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 9 Depois, as classes foram explicadas individualmente com apresentação do Dendrograma de Classes e dos excertos do texto. O Dendrograma de Classes é uma visualização gráfica dos resultados da análise de agrupamentos. Normalmente é utilizado para apresentar os resultados da classificação dos dados através de estruturas que façam sentido, taxonomias, capazes de classificar os dados textuais observados em diferentes classes. Durante a análise das classes temáticas, quando oportuno, foi apresentado o diagrama de Análise de Similitude (ADS) individual da classe. A ADS é uma técnica baseada na teoria dos grafos, usada convencionalmente para descrever representações sociais, com base em achados de pesquisa (Flament, 1981; Vergès & Bouriche, 2001). O objetivo da ADS é estudar a proximidade e as relações entre os elementos de um conjunto, na forma de árvores máximas que representam o número de conexões entre dois itens (Flament & Rouquete, 2003, p. 88). As bases teóricas desta técnica foram apresentadas em Flament e Rouquete (2003). Por último, foi realizada a validação dos agrupamentos de classe através do mapeamento conceitual que envolveu os indicadores da dimensão Organização Didático-Pedagógica. Nesta operação foram confrontados os valores dos χ2 das principais formas de palavras com as características dos agrupamentos de classes, permitindo a validação ou refutação das classes. Resultados e Discussões Esta seção apresenta os resultados das análises dos relatórios de avaliação de cursos pelas comissões externas do INEP. Dendrograma das Classes na CHD O procedimento separou e dividiu os conteúdos em classes homogêneas, e revelou as temáticas mais importantes. Para o efeito, utilizaram-se iterações sucessivas na análise fatorial das correspondências múltiplas. Os 12 textos dos relatórios de avaliação de curso foram agrupados em 567 ST com 3.946 formas, que totalizaram 19.707 ocorrências de palavras, com 3.133 lemas diferentes. Identificou-se 2.900 formas ativas de palavras e 221 suplementares. Para esta análise, o número de formas ativas com a frequência maior ou igual a 3 totalizaram 776. A média de ocorrência de formas em cada ST foi de 34,76. Dentre os 567 ST analisados, o aproveitamento foi de 82,72%, classificando 469 segmentos nas 6 classes resultantes e apresentado no Dendrograma de Classes (Figura 2). O corpus textual utilizado foi considerado adequado para a CHD pois representa um conjunto textual centrado na temática de Organização Didático Pedagógica, durante a avaliação externa de cursos superiores pelo INEP. Por ser um conjunto monotemático, evita que a análise de textos sob diversos temas replique a reprodução da estruturação inicial destes. Utilizando procedimentos estatísticos aplicados a conteúdo textual, que reúnem afirmações usando o mesmo tipo de léxico, o método CHD permitiu identificar diferentes mundos lexicais, o que pode ser indicativo de "visões do mundo". O Dendrograma de Classes (Figura 2) apresenta as classes temáticas que emergiram do processamento do corpus textual durante a CHD. É apresentado o detalhamento das classes com os termos que as compuseram individualmente, representadas pelas partições ou iterações que foram executadas na classificação dos ST. As partições geraram os sub-corpora que correspondem às classes. O corpus textual dos relatórios deu origem a 6 classes temáticas estáveis, compostas de unidades de segmentos de texto que apresentaram um vocabulário semelhante. Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 10 Figura 2 Dendrograma de Classes 1a. divisão 2a. divisão 3a. divisão 4a. divisão 5a. divisão Forma f Chi 2 Forma f Chi 2 Forma f Chi 2 Forma f Chi 2 Forma f Chi 2 Forma f Chi 2 atuar 13 60.66 extensão 19 98.67 verificar 20 49.06 acompanhar 9 35.65 ofertar 12 43.75 global 29 182.29 formar 12 60.13 pdi 14 86.28 visita 13 47.74 aluno 29 31.57 conteúdo 17 43.50 análise_sistêmica 29 182.29 profissional 13 40.71 pesquisa 18 74.07 in_loco 16 29.58 professor 16 28.52 disciplina 22 37.43 implantar 30 154.74 região 8 36.04 políticas_institucionais 10 64.12 interação 7 28.35 dificuldade 8 26.39 ppc 30 33.04 aspecto 34 154.34 propor 5 30.32 universidade_federal 5 35.81 uso 9 26.82 acompanhamento 10 26.18 distribuir 7 31.65 excelente 28 130.90 formação 13 25.12 assistência_estudantil 5 35.81 reunião 15 22.55 disponibilizar 9 26.04 disciplinas_optativas 6 27.07 maneira 27 129.77 preparar 6 24.50 monitoria 6 35.28 discente 26 21.37 estágio 14 24.25 constituir 6 27.07 avaliar 21 92.54 promocao 6 24.50 bolsa 4 28.59 ensino_aprendizagem 11 19.70 estudante 10 23.02 porcento 5 22.51 considerar 27 80.36 criativo 4 24.21 políticas_de_ensino 4 28.59 constatar 12 18.88 acesso 8 22.24 aulas_teóricas 5 22.51 coerência 10 53.05 país 4 24.21 etc 4 28.59 existência 9 17.63 relatar 8 22.24 período 7 21.65 perfil_profissional 19 48.30 vida 4 24.21 amapá 4 28.59 docente 16 16.70 ifma 8 22.24 suficiente 6 21.54 atitudinal 9 46.98 planejamento 4 24.21 política 5 28.24 acordo 8 16.70 divulgação 5 19.64 ver 6 21.54 acessibilidade_pedagógica 9 46.98 construção_de_edifícios 5 23.66 núcleo 5 28.24 laboratório_de_informática 4 16.09 próprio 7 18.51 descrito 7 18.21 carga_horária 21 41.55 saúde 6 20.56 organizar 5 28.24 fornecer 4 16.09 escola 7 18.51 proposto 4 17.97 observação 8 40.96 município 5 18.95 apoio 7 24.01 divulgar 4 16.09 orientador 7 18.51 elemento 4 17.97 dimensão 8 40.96 arquiteto 3 18.12 âmbito 8 24.00 perfil_do_egresso 9 15.44 material 4 15.68 habilidades_e_competências 4 17.97 artes_visuais 7 34.99 expressão 3 18.12 ação 8 21.65 licenciatura_em_matemática 6 15.34 final 4 15.68 dedicar 4 17.97 egresso 17 32.04 respeitar 4 17.82 unifap 3 21.40 comissão 6 15.34 geral 4 15.68 cursar 4 17.97 pintura 5 29.80 mercado_de_trabalho 4 17.82 nacional 3 21.40 informação 5 15.19 docentes_do_curso 4 15.68 adequado 9 17.96 gravura 5 29.80 ambiental 4 17.82 encontro 3 21.40 didático 4 15.68 destaque 5 17.15 escultura 5 29.80 área 10 15.49 disseminação 3 21.40 acessibilidade 6 29.07 realidade 5 15.45 consu_unifap 3 21.40 conceito_5 16 26.77 aquisição_de_conhecimentos 3 21.40 regulamentar 11 25.45 âmbito_do_curso 4 21.33 adequação 7 25.39 destacar 4 21.33 atualização 7 25.39 ensino 11 16.37 supervisão 7 25.39 prever 14 25.17 estrutura_curricular 15 24.54 flexibilidade 6 24.03 justificativo 35 23.96 análise_da_documentação 4 23.79 curso_de_bacharelado 4 23.79 previsto 5 23.23 atividades_pedagógicas 5 23.23 condições_de_infraestrutura 5 23.23 compatibilidade 5 23.23 corpo_docente 7 21.94 orientação 9 21.03 apresentação 6 20.14 estágio_curricular_supervisionado 11 18.54 previsão 3 17.81 institucionalizar 11 17.17 interdisciplinaridade 7 16.70 bom 9 15.68 Corpus Relatórios de avaliação externa 567 ST - Aproveitamento de 469 (82.72%) Classe 2 Características de excelência dos cursos 68 ST (14.5%) p-value (< 0,0001) p-value (< 0,0001) p-value (< 0,0001) p-value (< 0,0001) p-value (< 0,0001) p-value (< 0,0001) Classe 1 86 ST (18.34%) Componentes do processo ensino-aprendizagem Alunos/DiscentesGarantia da Qualidade Classe 6 94 ST (20.04%) Classe 5 96 ST (20.47%)67 ST (14.29%) Classe 4 Classe 3 58 ST (12.37%) Expectativas científicas na formação Expectativas profissionais na formação Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 11 A classe 1 foi denominada de Componentes do processo de ensino-aprendizagem, comportou 86 ST, 18,34% dos 469 ST aproveitados. A classe 2, Características de excelência dos cursos, obteve 68 ST, 14,5%. A classe 3, Expectativas científicas na formação, foi formada por 58 ST, 12,37%. A classe 4, Expectativas profissionais na formação, apresentou 67 ST com 14,29%. A classe 5 Alunos/discentes, aproveitou 96 ST, 20,47% e, por fim, a classe 6 Garantia da qualidade, foi composta por 94 ST, representando 20,04% do total dos ST aproveitados (ver Dendrograma de Classes - Figura 2) As características individuais de cada classe temática serão explicadas nas próximas seções, o padrão adotado será de apresentação das formas em destaque com seus respectivos χ2 ou sua variação, a visualização em nuvem de palavras e, quando oportuno, a apresentação dos resultados da Análise de Similitude (ADS) individuais. Expectativas Profissionais na Formação e Expectativas Científicas na Formação As classes 4 e 3 são similares entre si, pois além de serem oriundas do mesmo agrupamento ou divisão, representam as expectativas dos egressos, tanto profissionais quanto acadêmicas. A classe 4, com 14,29% dos ST, representa as expectativas profissionais dos egressos dos cursos, enquanto a classe 3, com 12,37% dos ST, representa as expectativas científicas na formação dos egressos. Embora tenham semânticas muito próximas, apresentam significados diferentes dentro do contexto de formação dos egressos. A Figura 3 apresenta, lado a lado, as nuvens de palavras de ambas as classes, o que permite sua diferenciação pela apresentação das principais formas evocadas. Suas principais evocações e excertos individuais serão discutidas em seguida. Ainda na Figura 3, pode-se perceber que a Classe 3 destacou os vocábulos “extensão” e “pesquisa” representativos das expectativas de atuação pelos estudantes, que durante suas atividades têm o fomento representado pelos termos “apoio” e “bolsa” e sua atuação normalmente ocorre como participante de um “núcleo” de estudos ou de pesquisa ligados a uma “universidade federal”. A Classe 4 apresentou as expectativas alinhadas ao “atual” de forma “profissional” na “área”, desempenhando de forma “criativa” atividades “plenas” para a melhoria das condições de “vida” tanto da “região” como no “país”. Figura 3 Nuvens de Palavras das Classes 3 e 4 Classe 3 Expectativas científicas na formação Classe 4 Expectativas profissionais na formação Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 12 Expectativas Profissionais na Formação. A classe 4 evocou mais fortemente as formas “atuar”, “formar”, “profissional”, “região”, “propor”, “formação” e “preparar”. O ST típico desta classe é o que obteve o maior escore dentre os demais (236.96), sendo representado pelo excerto a seguir (grifo nosso): O profissional formado (...) é consciente e preparado para os desafios impostos pela carreira, instrumentalizado para atuar individualmente ou como integrante de equipe multidisciplinar em todas as áreas onde a alimentação e a nutrição sejam condições para promoção, manutenção e recuperação da saúde do indivíduo e coletividades (curso de Nutrição, Paraná, nota final 5). As evocações desta classe remetem à abordagem das ações institucionais e do curso voltadas para o labor profissional e as demandas do mercado de cada curso, como destacados nos excertos (grifo nosso): a relação teoria e prática na educação básica visa a capacitação de discentes para atuar no universo da educação popular (...) formar profissionais comprometidos com o desenvolvimento social (curso de Sociologia, Ceará, nota final 4). o objetivo geral do CST4 em Construção de Edifícios é formar profissionais que demonstrem domínio de habilidades relativas a efetiva comunicação e expressão de ideias de forma criativa, através da materialização de resultados práticos satisfatórios às demandas de mercado (curso de Construção de Edifícios, Paraíba, nota final 4). (...) características locais e regionais, mas não foram apresentados laboratórios de ensino profissional que o impedem de ter uma formação que permita o pleno desenvolvimento de conceitos práticos (curso de Alimentos, Alagoas, nota final 3). Expectativas Científicas na Formação. A classe 3 apresentou as formas “extensão”, “PDI”, “pesquisa”, “políticas institucionais” e “assistência estudantil”, “universidade federal” e “monitoria” e o estado de sua implantação em cada curso, como nos excertos (grifo nosso): indissociabilidade entre ensino, pesquisa e extensão, organização curricular, articulação entre níveis e modalidades de ensino, integralização curricular (...) estão parcialmente implantadas no âmbito do curso (curso de Alimentos, Alagoas, nota final 3). na área de pesquisa, o PDI assinala a criação de programas de apoio à pesquisa e incentivou a criação de diversos mestrados (curso de Física, Maranhão, nota final 4). As políticas institucionais no âmbito do curso de graduação em arquitetura e urbanismo da IES revelam um reflexo direto das políticas apresentadas no Plano de Desenvolvimento Institucional, PDI e articuladas com a direção institucional e com a coordenação do curso (curso de Arquitetura e Urbanismo, Minas Gerais, nota final 4). Nesta classificação, destacaram-se as ações cotidianas do que se espera ser desenvolvido nas atividades de cunho científico, como articulação entre ações de pesquisa e extensão, realização de monitorias em disciplinas. Todas estas ações devem estar previstas nas políticas institucionais e nas políticas de assistências estudantil dentre as IES. 4 Curso Superior de graduação em Tecnologia. Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 13 Alunos ou Discentes x Garantia da Qualidade A Classe 5, Alunos ou Discentes, e a Classe 6, Garantia da Qualidade, são confirmatórias da Classe 1, Componentes do processo de ensino-aprendizagem. As formas que mais ocorreram e apresentaram os maiores χ2 com p-value estatisticamente significantes estão apresentadas nas respectivas nuvens de palavras apresentadas na Figura 4. São explicadas em seguida. Figura 4 Nuvens de Palavras das Classes 5 e 6 Classe 5 Alunos/Discentes Classe 6 Garantia da qualidade Alunos ou Discentes A Classe 5 está relacionada aos processos de ensino-aprendizagem do ponto de vista funcional, representando a preocupação com os “alunos/discentes” durante o processo, que envolve os “professores” (fundo verde), a “formação prática” (fundo azul claro), “estágio” (fundo vermelho) e “reuniões” para acompanhamento das atividades (fundo rosa). Ainda nesta classe são representadas, pela visão dos alunos/discentes, as atitudes institucionais “IES” (fundo lilás) que são confrontadas com os dados previamente informados pela própria instituição. Os alunos/discentes constituem o núcleo central desta representação e são destacados em suas atividades de orientação, acompanhamento e relatos. A Figura 5 apresenta a Análise de Similitude desta Classe. Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 14 Figura 5 Análise de Similitude da Classe 5 – Alunos ou Discentes Dentre suas ramificações, a Figura 5 destaca os processos de formação prática que envolvem os elementos periféricos associados como: estágios supervisionados ou extracurriculares; ações institucionais para garantia de convênios para as atividades de campo; os regulamentos específicos aplicados aos Trabalhos de Conclusão de Curso: composição de bancas examinadoras, defesas; procedimentos da Comissão Própria de Avaliação que visam garantir a qualidade do processo; procedimentos de acompanhamento do percurso pedagógico que envolvem as metodologias e as tecnologias de ensino aprendizagem. Garantia da Qualidade A Classe 6 evidencia formas como “verificar”, “visita”, “in loco”, “interação”, “reunião” está relacionada aos processos de garantia da qualidade ensino-aprendizagem do ponto de vista de sua efetivação e verificação durante as visitas das comissões externas de avaliação de curso. Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 15 Nesta classe, os elementos se referem aos processos de garantia da qualidade exigidos formalmente durante a avaliação externa dos cursos (grifo nosso): Não foi evidenciado na visita in loco o uso de metodologias inovadoras e embasadas em recursos que proporcionem aprendizagens diferentes (curso Engenharia Civil, Amapá, nota final 4). Políticas institucionais no âmbito do curso (...) em visita in loco na consulta ao PDI e ao PPC do curso e aos documentos apresentados pela IES e, em reunião com a coordenadora, a IES materializa as políticas institucionais de ensino-aprendizagem com atividades de formação do futuro administrador (curso de Administração, São Paulo, nota final 4). a comissão pôde constatar na visita in loco que o curso de nutrição (...) oferta atividades práticas de ensino para a área da saúde que proporcionam aos discentes, (...) vivenciar a atuação do nutricionista nas principais áreas de formação (curso de Nutrição, Paraná, nota final 5). Figura 6 Análise de Similitude da Classe 6 Garantia da Qualidade Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 16 A Figura 6 permite visualizar a interação entre as formas que ocorrem na Classe 6 Garantia da Qualidade, e ressaltam as características do processo de garantia da qualidade exigido pela agência de controle do ensino superior. Os procedimentos adotados durante a visita estão evidenciados na comunidade de “reunião” (fundo verde) entre docentes e o Núcleo Docente Estruturante (NDE). Também destaca a “avaliação dos processos” (fundo vermelho) e da documentação institucional. A análise do PPC (fundo lilás) quanto ao cumprimento das Diretrizes Curriculares Nacionais e de sua divulgação e conhecimento pelo curso (fundo azul). Componentes do Processo de Ensino-Aprendizagem A primeira classe foi formada principalmente pelas formas representadas na Tabela 2. Notem que as formas foram classificadas pelo cálculo do χ2 e apresentaram o valor de p estatisticamente significativo (<0,001). Foram predominantes os verbos e os pronomes que figuram destacados na nuvem de palavras da classe. O tamanho de cada palavra que aparece na nuvem de palavras é diretamente proporcional à sua frequência de ocorrência no corpus textual, sendo as maiores palavras, as que repetidamente ocorreram (f). Tabela 2 Formas e Características da Classe Formas f % χ2 tipo p-value nuvem de palavras ofertar 12 85,71 43,75 Verbo < 0,0001 conteúdo 17 68,00 43,50 Pronome < 0,0001 disciplina 22 53,66 37,43 Pronome < 0,0001 PPC 30 42,86 33,04 Abreviatura < 0,0001 distribuir 7 100,00 31,65 Verbo < 0,0001 disciplinas optativas 6 100,00 27,07 Composta < 0,0001 constituir 6 100,00 27,07 Verbo < 0,0001 Nota. f representa a frequência. Foram apresentadas somente as formas que apresentaram o p-value significativo (p < 0,001). Os estratos do corpus textual que originaram esta classe fazem referência à forma de oferta de unidades curriculares, se obrigatórias ou opcionais; aos seus conteúdos relacionados, e as demais inerentes ao ensino-aprendizagem. Os elementos que compõem essa classe sugerem uma visão dos processos associados ao ensino-aprendizagem sob a perspectiva dos cursos superiores avaliados (grifo nosso): (...) são destinadas 45 horas aula para a disciplina de libras que é ofertada como optativa para o curso de nutrição. As 3.990 horas do curso estão distribuídas em: carga horária dos componentes obrigatórios de 3.630 horas incluindo o TCC; optativas com 120 horas; (curso de Nutrição, Paraná, nota final 5). os conteúdos curriculares estão de acordo com o necessário para a formação do profissional egresso conforme o perfil estabelecido em PPC, as cargas horárias e Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 17 bibliografias estão adequadas e são abordados em components obrigatórios conteúdos relacionados à educação ambiental (curso de Engenharia Civil, Amapá, nota final 4). (...) disciplinas teóricas e práticas: 3.165 horas; estágio de 360 horas; TCC com 120 horas; atividades complementares de 75 horas. Há também a oferta das disciplinas optativas que totalizam 180 horas: libras e outras disciplinas cada uma com 60 horas relógio (curso de Arquitetura e Urbanismo, Minas Gerais, nota final 4). Os ST típicos da classe que apresentaram os maiores escores na Classe 1 Componentes do processo ensino-aprendizagem (188.15 e 171.91), são destacados nos excertos (grifo nosso): (...) explicitados não somente nas disciplinas do curso como também em algumas disciplinas optativas ofertadas de forma coerente com o conjunto dos demais conteúdos, as cargas horárias em termos totais são suficientes quanto aos aspectos de relação teoria- prática (curso de Arquitetura e Urbanismo, Minas Gerais, nota final 4). (...) tanto na definição das disciplinas e conteúdos, quanto na atribuição de cargas horárias objetivamente destinadas à formação deste perfil praticamente todos os conteúdos curriculares concentram-se na formação profissional e com metodologia de grande ênfase na prática e na experimentação constituindo em destaque neste aspecto (curso de Arquitetura e Urbanismo, Rio Grande do Norte, nota final 5). Importante destacar que os excertos apresentam as disciplinas, seus respectivos conteúdos curriculares e sua inter-relação com as demais unidades curriculares. A classe objetiva associar estes componentes citados entre si, e com relação aos demais conteúdos das matrizes curriculares dos cursos superiores, de forma a garantir as habilidades e competências esperadas por cada curso. Pela ADS foi possível estudar a proximidade e as relações entre os elementos do mesmo conjunto, representando a quantidade de conexões entre dois itens (Flament & Rouquete, 2003, p. 88). A ADS do subcorpus da Classe 1 é apresentada na Figura 7, o que facilitou a visualização das formas enraizadas no núcleo central: “ofertar” destacada na ramificação de fundo vermelho; “conteúdo” constant na ramificação de fundo amarelo e associada ao termo “disciplina”; “PPC” como núcleo central da representação apresentada na cor de fundo verde; “distribuir” relativa ao processo de publicação e divulgação “parcial” ou “total” das ações inerentes ao “PPC”, apresentada na comunidade de fundo azul; “disciplinas optativas”, e “constituir” e suas relações com as formas da periferia. As comunidades são apresentadas em cores diferentes, ao todo são apresentadas sete comunidades enlaçadas ao núcleo central desta classe. Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 18 Análise de Similitude (ADS) da Classe Figura 7 ADS da Classe 1 Componentes do Processo de Ensino-Aprendizagem Características de Excelência dos Cursos Finalmente, a Casse 2 que comportou 14,5% dos ST evocou mais fortemente as formas: “aspectos” a “considerar” como raiz principal, evidências de sucesso na “implantação” de “estágio curricular” e forte “corpo docente” e condições de infraestrutura”, fechando com “cargas horárias” adequadas e coordenadas, Os valores do χ2 variaram entre 182,29 e 92,54 nestas formas. Os ST típicos desta classe são representados pelos trechos de frases que mais apresentaram conexões entre si dentro de um mesmo parágrafo, os excertos que obtiveram os 2 maiores escores5 dentre os demais são apresentados a seguir (grifo nosso): a análise da documentação e as observações in loco permitem avaliar que as atividades complementares previstas e implantadas estão regulamentadas e institucionalizadas de maneira excelente, considerando em uma análise sistêmica e global os aspectos de carga horária, diversidade de atividades e formas de aproveitamento (curso de História, Ceará, nota final 5). 5 Estes escores são representados pelos segmentos de texto que mais contêm os vocábulos da Classe. Destaque-se a grande ocorrência de vocábulos em itálico dentro de cada excerto apresentado. Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 19 avaliamos que os conteúdos curriculares implantados possibilitam, de maneira excelente, o desenvolvimento do perfil profissional do egresso, considerando em uma análise sistêmica e global, os aspectos de atualização, acessibilidade, adequação das cargas horárias em horas, adequação da bibliografia (curso de Arquitetura e Urbanismo, Rio Grande do Norte, nota final 5) Como esta classe (ver Figura 8) foi resultado de uma derivação das classes 3 e 4, que se relacionaram com as expectativas científicas e profissionais, a classe 2 evidenciou as características de excelência dos cursos, nas dimensões avaliadas em que os cursos alcançaram o maior nível de exigência esperado durante a visita da comissão externa. Neste contexto, a ADS da classe representada na Figura 8 apresentou sete grandes núcleos que levaram os cursos a alcançarem bons conceitos durante a avaliação pelas comissões de especialistas. Os núcleos centrais foram dois principais, aspectos institucionalizados e implantações: Figura 8 Análise de Similitude da Classe 2 Características de Excelência dos Cursos Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 20 Os aspectos institucionalizados (fundo amarelo) apresentaram fortes evidências de atividades pedagógicas, acessibilidade, e coerências atitudinais, levando-se a entender que as práticas estão regulamentadas e coerentes com as ações institucionais. Este núcleo apresentou-se inter-relacionado com as raízes de considerações de critérios (fundo verde); com as características desejáveis (fundo rosa) compostas pela flexibilidade, interdisciplinaridade e compatibilidade entre seus elementos; e pelas cargas horárias adequadas (fundo azul) devidamente comprovadas pelos aspectos institucionais quando avaliados durante as visitas in loco. As implantações bem-sucedidas (fundo vermelho) compuseram o segundo núcleo central desta classe. Apareceram associadas ao dimensionamento (fundo lilás) adequado entre o corpo docente e o número de vagas ofertadas, aqui representado pela relação entre alunos/professor. As condições de infraestrutura oferecidas pelos cursos mostraram-se bem dimensionadas neste núcleo. A fundamentação das implantações foi amparada pelas justificativas (fundo azul-claro) do perfil formativo desejado pelos cursos, em consonância com as competências desenvolvidas pelos egressos, dentro do perfil-curricular desenhado nos PPC dos cursos. Alguns excertos que representam as evocações desta classe são apresentados a seguir (grifo nosso): avaliamos que os conteúdos curriculares previstos possibilitam suficientemente o desenvolvimento do perfil profissional do egresso considerando, em uma análise sistêmica e global os aspectos de atualização, acessibilidade, adequação das cargas horárias em horas relógio (curso de Arquitetura e Urbanismo, Rio Grande do Norte, nota final 5). se referem aos domínios da criação da produção da crítica e difusão da arte em excelente coerência, em uma análise sistêmica e global com os aspectos: perfil profissional do egresso; estrutura curricular e contexto educacional; perfil profissional do egresso. (curso de Artes Visuais, São Paulo, nota final 5). Validação dos Agrupamentos de Classes Nesta última etapa foi realizada a análise dos agrupamentos de dados que formaram as classes, esta avaliação é uma forma de validação das classes temáticas geradas, o cluster validity. Os agrupamentos calculados e explicados anteriormente foram avaliados quanto a sua qualidade, levando-se em consideração sua aderência qualitativa aos relatórios de avaliação externa utilizados na análise. Para isto, foi construído um mapeamento conceitual da temática Organização Didático-Pedagógica elencando os principais conteúdos dos relatórios de avaliação externa dos cursos. Por meio do χ2 de cada forma na respectiva Classe, foi possível identificar as correspondências das palavras que tiveram maior impacto na formação de cada agrupamento. Durante o mapeamento, as formas presentes nos relatórios e as Classes foram conectadas pelos links representando as palavras principais de cada categoria e seus respectivos valores de χ2, como pode ser visualizado na Figura 9. Desta maneira, 5 classes foram validadas e uma foi refutada. São perceptíveis problemas no processo de agrupamento de dados, notadamente na determinação, de forma excelente, da quantidade de grupos necessários para agrupamento de um conjunto de dados. Em conjuntos de duas dimensões, é relativamente facilitado avaliar visualmente sua eficácia, mas, em conjuntos de dados multidimensionais, a visualização é mais complexa. Algoritmos de agrupamento de dados comportam-se de forma diferente, dependendo das características do conjunto de dados, dos parâmetros utilizados e das primeiras suposições realizadas, assim é necessária alguma forma de avaliação dos resultados para validá-los (Halkidi et al., 2001). Foi o que fizemos neste procedimento. Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 21 Figura 9 Validação das Classes e as Categorias do Relatório de Avaliação Externa dos Cursos Ao término da análise, foi possível identificar que a Classe 4, Expectativas Profissionais na Formação, não apresentou representação significante direta com os principais conteúdos dos relatórios analisados, nas formas das palavras que a compuseram. A Classe 4 apresentou associações fracionadas e com fraca combinação direta à temática. Esta Classe foi originada na quarta divisão da classificação do Dendrograma (ver Figura 2), e apresentou semântica muito próxima à Classe 3, Expectativas acadêmicas na formação, mas com significados alternativos na formação dos egressos. Por esta razão a Classe 4 não foi validada. O processo de classificação e agrupamento de dados auxiliou efetivamente no tratamento do grande volume de dados, mas devem ser utilizados como uma ferramenta de produtividade à disposição dos especialistas, que têm o dever de avaliar os aglomerados resultantes, para garantir a qualidade dos resultados. Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 22 Conclusões O estudo nos permitiu observar os principais preditores que podem influenciar os resultados da avaliação in loco realizadas pelas comissões de especialistas, durante a visita aos cursos superiores. A análise monotemática dos conteúdos textuais da Organização Didático-Pedagógica foi realizada baseando-se em resultados de 12 relatórios de cursos entre 2018 e 2019. De maneira específica, a análise dos relatórios das comissões de avaliação do INEP permitiu mensurar que os componentes mais relevantes da dimensão Organização Didático-Pedagógica são representados pelos (ver associações na Figura 9): - Componentes do processo de ensino-aprendizagem, com destaque para o TCC, atividades complementares, metodologia e processo de avaliação; - Características de excelência dos cursos, ressaltando o perfil profissional do egresso, estrutura curricular, estágio curricular supervisionado, conteúdos curriculares, e número de vagas; - Expectativas científicas na formação, enfatizando as políticas institucionais e suas relações com os objetivos do curso; - Alunos/discentes, reforçando o estágio supervisionado ou não, e elementos de avaliação, apoio e acompanhamento discente; - Procedimentos de garantia da qualidade, sublinhando a avaliação dos processos e acompanhamento no ensino-aprendizagem. A Classe 2, Características de excelência dos cursos, funcionou como um agregador de referência das melhores práticas dos cursos. Esta destacou aspectos da estrutura curricular, conteúdos curriculares, perfil profissional do egresso, quantidade de vagas oferecidas, e características do estágio. Todas estas dimensões, nos cursos investigados, obtiveram os melhores conceitos durante a análise de seus relatórios, podendo ser preditores importantes a serem tomados como prioridade para o desenvolvimento de melhores cursos de ES. A Classe 6, Garantia da Qualidade, é um item obrigatório em processos de acreditação de cursos no ES do Espaço Europeu de Ensino Superior (EEES) e pela América do Norte. Sua formalização como elemento vital nas avaliações pelo INEP, poderia levar à melhoria do controle dos processos no ES brasileiro, e seguindo uma tendência já consagrada em outros sistemas de ensino superior. Como limitações deste estudo, em termos de sua abrangência, houve a delimitação de uma única temática, organização didático-pedagógica, dentre as três possíveis. Desta forma não puderam ser consideradas as demais dimensões do IACG, levando-nos a não conhecer os resultados globais em relação à totalidade dos indicadores do ES. Outra limitação está associada à quantidade de relatórios considerados (12), que atuou como um estudo piloto, embora bastante diversificados em relação aos cursos (11) e estados da federação (10) avaliados, mas proporcionalmente é uma amostra pequena. As pistas para trabalhos futuros, são: a) replicar os preditores das classes aqui descobertas, em uma quantidade maior de cursos, trazendo importantes associações e possibilidade de generalizações no modelo de classes aqui proposto; b) em virtude do tempo de imersão nas análises e do lapso espacial de um artigo científico, não foram aqui analisadas as dimensões corpo docente e tutorial, e infraestrutura, estas poderiam trazer contribuições complementares à análise. Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 23 Agradecimentos O presente estudo foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior do Brasil (CAPES), código de financiamento 001. Este estudo foi realizado no Centro de Investigação em Ciência Política (UIDB/CPO/00758/2020), Universidade do Minho/Universidade de Évora, e foi apoiado pela Fundação para a Ciência e Tecnologia e o Ministério da Educação e Ciência português por meio de fundos nacionais. Referências Amaral, N. C. (2003). Financiamento da educação superior: Estado x mercado. Cortez Editora e Editora Unimep. Aprova o Regimento interno da Comissão Técnica de Acompanhamento da Avaliação - CTAA, Diário Oficial da União: seção I (2016) (testimony of Portaria no. 388 de 11 de maio do Ministério da Educação). http://portal.imprensanacional.gov.br Benzecri, J. P. (2007). Linguistique et lexicologie. (Rev. ed.). Dunod. Bertolin, J. C. G. (2019). Análise crítica dos instrumentos de avaliação de cursos de graduação do Sinaes. Revista Espaço Pedagógico, 26(1), 183–199. Camargo, B. V., & Justo, A. M. (2013). Iramuteq: um software gratuito para análise de dados textuais. Temas em Psicologia, 21(2), 513–518. Chanan-Silva, P. C., & Ferreira, L. R. (2018). Indicadores de qualidade dos cursos de graduação: influência das características do avaliador e das comissões de avaliação. IX Colóquio Organizações, Desenvolvimento e Sustentabilidade - CODS, 9, 401–414. Costa, B. R. L., El Hajj, Z. S., & De Araújo, R. M. (2018). The role of evaluation commissions on regulatory acts: A university management perspective. Meta: Avaliação, 10(28), 75–105. https://doi.org/10.22347/2175-2753v10i28.1565 De Souza, F. J., Souza, J. S., Elliot, L. G., & Hildenbrand, L. (2018). Avaliação da Educação Superior no Brasil - do Provao ao ENADE: Um estudo meta-avaliativo. Revista Meta: Avaliação, 10(Edição Especial n.2), 22–42. https://doi.org/10.22347/2175-2753v10i0.1956 Duarte, A. M., Cruz, V. L., dos Santos, R. R., da Silva Neto, G. J., Lagioia, U. C. T., & de Araújo Santos, A. (2016). Reprovação em disciplinas do curso de ciências contábeis de uma Instituição de Ensino Superior Paraibana: Uma análise na visão dos discentes com ênfase na contabilidade de custos. Anais do Congresso Brasileiro de Custos-ABC, 1–14. Fallery, B., & Rodhain, F. (2007). Quatre approches pour l’analyse de données textuelles: Lexicale, linguistique, cognitive, thématique. XVI Conférence de l’Association Internationale de Management Stratégique AIMS, 1–16. https://hal.archives-ouvertes.fr/hal-00821448 Flament, C. (1981). L’analyse de similitude: une technique pour les recherches sur les représentations sociales. Cahiers de Psychologie Cognitive/Current Psychology of Cognition, 1(4), 375–395. Flament, C., & Rouquete, M. L. (2003). Anatomie des idées ordinaires: Comment étudier les représentations sociales. Armand Colin. Guerra, M. D. G. G. V. (2019). Sistema Nacional de Avaliação da Educação Superior (SINAES): Avanços na qualidade da avaliação da educação superior no Brasil. Actas do XIV Colóquio Internacional de Psicologia e Educação, 219–299. Haas, C. M. (2017). Educação superior no Brasil e os condicionamentos às políticas nacionais: Impactos da regulação transnacional na gestão universitária. Laplage em revista, 3(3), 115–132. Halkidi, M., Batistakis, Y., & Vazirgiannis, M. (2001). On clustering validation techniques. Journal of Intelligent Information Systems, 17(2–3), 107–145. https://doi.org/10.22347/2175-2753v10i28.1565 https://doi.org/10.22347/2175-2753v10i0.1956 https://hal.archives-ouvertes.fr/hal-00821448 Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 24 Humboldt, W. von (2003). Sobre a organização interna e externa das instituições científicas superiores em Berlim. In G. Casper & W. Von Humboldt (Orgs.), Um mundo sem universidades (Vol. 2, pp. 15–34). EdUERJ. INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. (2016a). Instrumento de Avaliação de Cursos de Graduação presencial e a distância. Ministério da Educação. INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. (2016b). Nota Técnica no. 10 de 26 de fevereiro. Consolidação do Instrumento de Avaliação de Cursos de Graduação do Sistema Nacional de Avaliação da Educação Superior (SINAES). https://bit.ly/3fxATjR Lamarra, N. R. F., & Centeno, C. G. P. (2016). La educación superior latinoamericana en el inicio del nuevo siglo. Situación, principales problemas y perspectivas futuras. Revista Española de Educación Comparada, 27, 123–148. https://doi.org/10.5944/reec.27.2016.15044 Lamarra, N. R. F., & Cóppola, N. (2007). Educación superior y calidad en América Latina y Argentina. In Los procesos de evaluación y acreditación. Iesalc/Unesco/Eduntref. Lebart, L., & Salem, A. (1994). Statistiques textuelles. Dunod. Loss, M. M., Faria, A. C. G. de, & Rosa, A. T. da. (2018). A avaliação de cursos de graduação de universidades federais: Um enfoque nas avaliações externas in loco do INEP (2016-2017). Seminário Nacional de Bibliotecas Universitárias (20.: 2018 abr. 15-20: Salvador, BA). UFBA. Onwuegbuzie, A. J., & Teddlie, C. (2003). A framework for analyzing data in mixed methods research. Handbook of Mixed Methods in Social and Behavioral Research, 2, 397–430. Pereira, C. A., Araujo, J. F. F. E., & Machado-Taylor, M. de L. (2018). The Brazilian higher education evaluation model: “SINAES” sui generis? International Journal of Educational Development, 61, 5–15. https://doi.org/10.1016/j.ijedudev.2017.11.007 Pereira, C. A., Araújo, J. F. F. E., & Machado-Taylor, M. de L. (2020). Remendo novo em roupa velha? SINAES de maturidade ou de saturação do modelo de avaliação do ensino superior brasileiro. Revista Brasileira de Educação, 25(1), 1–28. https://doi.org/10.1590/s1413- 24782020250020 Pinto, R. S., Mello, S., & Melo, P. A. (2016). Metaevaluation: A decade of institutional evaluation process of SINAES. Avaliação: Revista da Avaliação da Educação Superior (Campinas), 21(1), 89– 108. Portaria n°. 900 de 5 de outubro do INEP - Divulga a relação nominal dos avaliadores selecionados e capacitados no Instrumento de Avaliação de Cursos de Graduação do SINAES para os atos autorizativos de Reconhecimento e Renovação de Reconhecimento. Diário Oficial da União: seção II, ed.196, p.23 (2019). Porter, L. (2003). La universidad de papel: Ensayos sobre la educación superior en México (1o ed). Centro de Investigaciones Interdisciplinarias en Ciencias y Humanidades de la Universidad Nacional Autónoma de México. Reinert, M. (1990). Alceste une méthodologie d’analyse des données textuelles et une application: Aurelia de Gerard de Nerval. Bulletin of Sociological Methodology, 26(1), 24–54. https://doi.org/10.1177/075910639002600103 Rosini, A. M., Messias, J. F., & Palmisano, A. (2018). Impacto das avaliações de curso do Inep como instrumento de governança nas IES no Brasil. REPAE-Revista de Ensino e Pesquisa em Administração e Engenharia, 4(1), 115–131. Rossit, R. A. S., & Storani, K. (2010). Avaliação nos processos educacionais. SciELO-Editora Fap-Unifesp. Santos, M. G. dos. (2016). Rituais e performance das visitas in lócus nos processos de avaliação do SINAES. 2o. Simpósio da Avaliação Superior. Silva, E. M. da. (2013). Aspectos contextuais e metodológicos da avaliação da qualidade da educação superior brasileira: uma análise dos indicadores utilizados pelos órgãos reguladores nos processos de avaliação dos cursos de graduação. Dissertação (Mestrado Profissional em Gestão Pública para o https://bit.ly/3fxATjR https://doi.org/10.5944/reec.27.2016.15044 https://doi.org/10.1016/j.ijedudev.2017.11.007 https://doi.org/10.1590/s1413-24782020250020 https://doi.org/10.1590/s1413-24782020250020 https://doi.org/10.1177/075910639002600103 Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 25 Desenvolvimento do Nordeste) – Universidade Federal de Pernambuco, Recife, 2013. Silveira, Z. S. da, & Bianchetti, L. (2016). Universidade moderna: Dos interesses do Estado-nação às conveniências do mercado. Revista Brasileira de Educação, 21(64), 79–99. https://doi.org/10.1590/S1413-24782016216405 Sturges, K. M. (2014). External evaluation as contract work: The production of evaluator identity. American Journal of Evaluation, 35(3), 346–363. http://10.0.4.153/1098214013513829 Tashakkori, A., & Teddlie, C. (1998). Mixed methodology: Combining qualitative and quantitative approaches (Vol. 46). Sage. Tashakkori, A., & Teddlie, C. (2010). Handbook of mixed methods in social & behavioral research. Sage. Teddlie, C., & Tashakkori, A. (2009). Foundations of mixed methods research: Integrating quantitative and qualitative approaches in the social and behavioral sciences. Sage. Vergès, P., & Bouriche, B. (2001). L’analyse des données par les graphes de similitude. Sciences Humaines, 1–90. https://www.scienceshumaines.com/Bouriche.pdf Yarbrough, D. B., Shulha, L. M., Hopson, R. K., & Caruthers, F. A. (2011). The program evaluation standards: A guide for evaluators and evaluation users (3rd ed). Sage. Sobre os Autores Cleber Augusto Pereira Universidade Federal do Maranhão cleber.pereira@ufma.br http://orcid.org/0000-0002-7704-2343 Professor Adjunto na Universidade Federal do Maranhão (UFMA). Doutorando em Ciências da Administração pela Universidade do Minho (Portugal) . Mestre em Inteligência Artificial pela UFMA. Pesquisador no Centro de Investigação em Ciência Política (CICP-UMINHO/FCT- Portugal) e no Núcleo de Pesquisa NEEPESCO (UFMA-CNPQ). Joaquim Filipe Ferraz Esteves de Araújo Universidade do Minho jfilipe@eeg.uminho.pt http://orcid.org/0000-0001-8531-6036 Ph.D. em Public Administration pela University of Exeter, UK. Professor catedrático na Escola de Economia e Gestão na Universidade do Minho. Investigador no Centro de Investigação em Ciência Política (CICP-UMinho). Maria de Lourdes Machado-Taylor lmachado@cipes.up.pt http://orcid.org/0000-0003-4774-2397 Ph.D. em Ciências Empresariais pela Universidade do Minho (Portugal). Investigadora no Centro de Investigação em Políticas do Ensino Superior (CIPES) e atua na Agência de Avaliação e Acreditação do Ensino Superior (A3ES). https://doi.org/10.1590/S1413-24782016216405 http://10.0.4.153/1098214013513829 https://www.scienceshumaines.com/Bouriche.pdf mailto:cleber.pereira@ufma.br http://orcid.org/0000-0002-7704-2343 mailto:jfilipe@eeg.uminho.pt http://orcid.org/0000-0001-8531-6036 mailto:lmachado@cipes.up.pt http://orcid.org/0000-0003-4774-2397 Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 26 arquivos analíticos de políticas educativas Volume 29 Número 59 3 de maio 2021 ISSN 1068-2341 Los/as lectores/as pueden copiar, mostrar, distribuir, y adaptar este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, los cambios se identifican y la misma licencia se aplica al trabajo derivada. Más detalles de la licencia de Creative Commons se encuentran en https://creativecommons.org/licenses/by-sa/4.0/. Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. La sección en español para Sud América de AAPE/EPAA es publicada por el Mary Lou Fulton Teachers College, Arizona State University y la Universidad de San Andrés de Argentina. Los artículos que aparecen en AAPE son indexados en CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). Por errores y sugerencias contacte a Fischman@asu.edu Síganos en EPAA’s Facebook comunidad at https://www.facebook.com/EPAAAAPE y en Twitter feed @epaa_aape. https://creativecommons.org/licenses/by-sa/4.0/ http://www.doaj.org/ http://www.doaj.org/ https://www.facebook.com/EPAAAAPE Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 27 arquivos analíticos de políticas educativas conselho editorial Editor Consultor: Gustavo E. Fischman (Arizona State University) Editoras Coordenadores: Marcia Pletsch, Sandra Regina Sales (Universidade Federal Rural do Rio de Janeiro) Editores Associadas: Andréa Barbosa Gouveia (Universidade Federal do Paraná), Kaizo Iwakami Beltrao (EBAPE/FGVl), Sheizi Calheira de Freitas (Federal University of Bahia), Maria Margarida Machado (Federal University of Goiás / Universidade Federal de Goiás), Gilberto José Miranda (Universidade Federal de Uberlândia) Almerindo Afonso Universidade do Minho Portugal Alexandre Fernandez Vaz Universidade Federal de Santa Catarina, Brasil José Augusto Pacheco Universidade do Minho, Portugal Rosanna Maria Barros Sá Universidade do Algarve Portugal Regina Célia Linhares Hostins Universidade do Vale do Itajaí, Brasil Jane Paiva Universidade do Estado do Rio de Janeiro, Brasil Maria Helena Bonilla Universidade Federal da Bahia Brasil Alfredo Macedo Gomes Universidade Federal de Pernambuco Brasil Paulo Alberto Santos Vieira Universidade do Estado de Mato Grosso, Brasil Rosa Maria Bueno Fischer Universidade Federal do Rio Grande do Sul, Brasil Jefferson Mainardes Universidade Estadual de Ponta Grossa, Brasil Fabiany de Cássia Tavares Silva Universidade Federal do Mato Grosso do Sul, Brasil Alice Casimiro Lopes Universidade do Estado do Rio de Janeiro, Brasil Jader Janer Moreira Lopes Universidade Federal Fluminense e Universidade Federal de Juiz de Fora, Brasil António Teodoro Universidade Lusófona Portugal Suzana Feldens Schwertner Centro Universitário Univates Brasil Debora Nunes Universidade Federal do Rio Grande do Norte, Brasil Lílian do Valle Universidade do Estado do Rio de Janeiro, Brasil Geovana Mendonça Lunardi Mendes Universidade do Estado de Santa Catarina Alda Junqueira Marin Pontifícia Universidade Católica de São Paulo, Brasil Alfredo Veiga-Neto Universidade Federal do Rio Grande do Sul, Brasil Flávia Miller Naethe Motta Universidade Federal Rural do Rio de Janeiro, Brasil Dalila Andrade Oliveira Universidade Federal de Minas Gerais, Brasil Preditores do sucesso nas políticas de organização didático-pedagógica do ensino superior 28 archivos analíticos de políticas educativas consejo editorial Editor Consultor: Gustavo E. Fischman (Arizona State University) Coordinador (Español/Latinoamérica): Ignacio Barrenechea, Axel Rivas (Universidad de San Andrés Editor Coordinador (Español/Norteamérica): Armando Alcántara Santuario (Universidad Nacional Autónoma de México) Editor Coordinador (Español / España): Antonio Luzon (Universidad de Granada) Editores Asociados: Felicitas Acosta (Universidad Nacional de General Sarmiento), Jason Beech (Universidad de San Andrés), Angelica Buendia, (Metropolitan Autonomous University), Alejandra Falabella (Universidad Alberto Hurtado, Chile), Veronica Gottau (Universidad Torcuato Di Tella), Carolina Guzmán-Valenzuela (Universidade de Chile), Cesar Lorenzo Rodriguez Uribe (Universidad Marista de Guadalajara María Teresa Martín Palomo (University of Almería), María Fernández Mellizo-Soto (Universidad Complutense de Madrid), Tiburcio Moreno (Autonomous Metropolitan University-Cuajimalpa Unit), José Luis Ramírez, (Universidad de Sonora), Maria Veronica Santelices (Pontificia Universidad Católica de Chile) Claudio Almonacid Universidad Metropolitana de Ciencias de la Educación, Chile Ana María García de Fanelli Centro de Estudios de Estado y Sociedad (CEDES) CONICET, Argentina Miriam Rodríguez Vargas Universidad Autónoma de Tamaulipas, México Miguel Ángel Arias Ortega Universidad Autónoma de la Ciudad de México Juan Carlos González Faraco Universidad de Huelva, España José Gregorio Rodríguez Universidad Nacional de Colombia, Colombia Xavier Besalú Costa Universitat de Girona, España María Clemente Linuesa Universidad de Salamanca, España Mario Rueda Beltrán Instituto de Investigaciones sobre la Universidad y la Educación, UNAM, México Xavier Bonal Sarro Universidad Autónoma de Barcelona, España Jaume Martínez Bonafé Universitat de València, España José Luis San Fabián Maroto Universidad de Oviedo, España Antonio Bolívar Boitia Universidad de Granada, España Alejandro Márquez Jiménez Instituto de Investigaciones sobre la Universidad y la Educación, UNAM, México Jurjo Torres Santomé, Universidad de la Coruña, España José Joaquín Brunner Universidad Diego Portales, Chile María Guadalupe Olivier Tellez, Universidad Pedagógica Nacional, México Yengny Marisol Silva Laya Universidad Iberoamericana, México Damián Canales Sánchez Instituto Nacional para la Evaluación de la Educación, México Miguel Pereyra Universidad de Granada, España Ernesto Treviño Ronzón Universidad Veracruzana, México Gabriela de la Cruz Flores Universidad Nacional Autónoma de México Mónica Pini Universidad Nacional de San Martín, Argentina Ernesto Treviño Villarreal Universidad Diego Portales Santiago, Chile Marco Antonio Delgado Fuentes Universidad Iberoamericana, México Omar Orlando Pulido Chaves Instituto para la Investigación Educativa y el Desarrollo Pedagógico (IDEP) Antoni Verger Planells Universidad Autónoma de Barcelona, España Inés Dussel, DIE-CINVESTAV, México José Ignacio Rivas Flores Universidad de Málaga, España Catalina Wainerman Universidad de San Andrés, Argentina Pedro Flores Crespo Universidad Iberoamericana, México Juan Carlos Yáñez Velazco Universidad de Colima, México javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/819') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/820') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/4276') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/1609') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/825') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/797') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/823') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/798') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/555') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/814') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/2703') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/801') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/826') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/802') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/3264') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/804') Arquivos Analíticos de Políticas Educativas Vol. 29, No. 59 29 education policy analysis archives editorial board Lead Editor: Audrey Amrein-Beardsley (Arizona State University) Editor Consultor: Gustavo E. Fischman (Arizona State University) Associate Editors: Melanie Bertrand, David Carlson, Lauren McArthur Harris, Danah Henriksen, Eugene Judson, Mirka Koro-Ljungberg, Daniel Liou, Scott Marley, Keon McGuire, Molly Ott, Iveta Silova (Arizona State University) Madelaine Adelman Arizona State University Amy Garrett Dikkers University of North Carolina, Wilmington Gloria M. Rodriguez University of California, Davis Cristina Alfaro San Diego State University Gene V Glass Arizona State University R. Anthony Rolle University of Houston Gary Anderson New York University Ronald Glass University of California, Santa Cruz A. G. Rud Washington State University Michael W. Apple University of Wisconsin, Madison Jacob P. K. Gross University of Louisville Patricia Sánchez University of Texas, San Antonio Jeff Bale University of Toronto, Canada Eric M. Haas WestEd Janelle Scott University of California, Berkeley Aaron Benavot SUNY Albany Julian Vasquez Heilig California State University, Sacramento Jack Schneider University of Massachusetts Lowell David C. Berliner Arizona State University Henry Braun Boston College Kimberly Kappler Hewitt University of North Carolina Greensboro Noah Sobe Loyola University Casey Cobb University of Connecticut Aimee Howley Ohio University Nelly P. Stromquist University of Maryland Arnold Danzig San Jose State University Steve Klees University of Maryland Jaekyung Lee SUNY Buffalo Benjamin Superfine University of Illinois, Chicago Linda Darling-Hammond Stanford University Jessica Nina Lester Indiana University Adai Tefera Virginia Commonwealth University Elizabeth H. DeBray University of Georgia Amanda E. Lewis University of Illinois, Chicago A. Chris Torres Michigan State University David E. DeMatthews University of Texas at Austin Chad R. Lochmiller Indiana University Tina Trujillo University of California, Berkeley Chad d'Entremont Rennie Center for Education Research & Policy Christopher Lubienski Indiana University Federico R. Waitoller University of Illinois, Chicago John Diamond University of Wisconsin, Madison Sarah Lubienski Indiana University Larisa Warhol University of Connecticut Matthew Di Carlo Albert Shanker Institute William J. Mathis University of Colorado, Boulder John Weathers University of Colorado, Colorado Springs Sherman Dorn Arizona State University Michele S. Moses University of Colorado, Boulder Kevin Welner University of Colorado, Boulder Michael J. Dumas University of California, Berkeley Julianne Moss Deakin University, Australia Terrence G. Wiley Center for Applied Linguistics Kathy Escamilla University of Colorado, Boulder Sharon Nichols University of Texas, San Antonio John Willinsky Stanford University Yariv Feniger Ben-Gurion University of the Negev Eric Parsons University of Missouri-Columbia Jennifer R. Wolgemuth University of South Florida Melissa Lynn Freeman Adams State College Amanda U. Potterton University of Kentucky Kyo Yamashiro Claremont Graduate University Rachael Gabriel University of Connecticut Susan L. Robertson Bristol University Miri Yemini Tel Aviv University, Israel