Os muitos usos da avaliação do Sinaes: As perspectivas dos coordenadores de curso da Universidade Federal da Bahia Página web: http://epaa.asu.edu/ojs/ Artigo recebido: 17/10/2023 Facebook: /EPAAA Revisões recebidas: 21/3/2024 Twitter: @epaa_aape Aceito: 19/4/2024 arquivos analíticos de políticas educativas Revista acadêmica, avaliada por pares, independente, de acesso aberto, e multilíngue Arizona State University Volume 32 Número 33 2 de julho de 2024 ISSN 1068-2341 Os Muitos Usos da Avaliação do Sinaes: As Perspectivas dos Coordenadores de Curso da Universidade Federal da Bahia Vanúbia de Jesus Silva & Roberto Brazileiro Paixão Universidade Federal da Bahia Brasil Citação: Silva, V. de J., & Paixão, R. B. (2024). Os muitos usos da avaliação do Sinaes: As perspectivas dos coordenadores de curso da Universidade Federal da Bahia. Arquivos Analíticos de Políticas Educativas, 32(33). https://doi.org/10.14507/epaa.32.8419 Resumo: Esta pesquisa objetivou analisar como os coordenadores de cursos de graduação da UFBA usam a avaliação do Sinaes. Foram investigados os usos instrumentais, conceituais e simbólicos, advindos do processo ou do resultado. Identificou-se 22 categorias de usos instrumentais (como “apoiou análises e discussões dos resultados”), 13 de conceituais (como “mudou posturas/percepções”) e 8 de simbólicos (como, “mobilizou a comunidade para a avaliação”). Observou-se mais usos conceituais e menos usos instrumentais. Conexões entre as categorias podem indicar que alguns usos podem impulsionar outros. Palavras-chave: avaliação; uso da avaliação; tipos de uso; fontes de uso; Sinaes The many uses of the Sinae evaluation: The perspectives of Federal University of Bahia’s program coordinators Abstract: This research aimed to analyze how the coordinators of undergraduate programs of the Federal University of Bahia use Sinae’s evaluation. Instrumental, conceptual, and symbolic uses, derived from the process or the results, were investigated. We identified 22 categories of instrumental uses (such as “supported analysis and discussion of results”), 13 conceptual uses (such as “changed postures/perceptions”), and 8 symbolic uses (such as “mobilized the community for the assessment”). We found more conceptual and less instrumental uses. http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.32.8419 Arquivos Analíticos de Políticas Educativas Vol. 32, No. 33 2 Connections between categories might indicate that some uses may stimulate other types. Keywords: evaluation; evaluation use; types of use; source of use; Sinaes Los múltiples usos de la evaluación Sinaes: Las perspectivas de los coordinadores de cursos de la Universidad Federal de Bahía Resumen: Esta investigación tuvo como objetivo analizar cómo los coordinadores de los cursos de pregrado de la Universidad Federal de Bahía utilizan la evaluación de Sinaes. Se investigaron los usos instrumentales, conceptuales y simbólicos, derivados del proceso o del resultado. Se identificaron 22 categorías de usos instrumentales (como “apoyó el análisis y la discusión de los resultados”), 13 de conceptuales (como “cambió posturas/percepciones”) y ocho de simbólicos (como “movilizó a la comunidad para la evaluación”). Se observaron más usos conceptuales y menos usos instrumentales. Las conexiones entre categorías pueden indicar que unos usos impulsan a otros. Palabras-clave: evaluación; uso de la evaluación; tipos de uso; fuentes de uso; Sinaes Os Muitos Usos da Avaliação do Sinaes: As Perspectivas dos Coordenadores de Curso da Universidade Federal da Bahia Um dos propósitos da avaliação é gerar feedback aos interessados no objeto avaliado. Esses feedbacks são respostas a questionamentos específicos que possam exprimir de alguma forma a qualidade do objeto avaliado e apontar evidências para decisões futuras, seja no final ou durante o processo de avaliação. A avaliação sempre prestou atenção ao potencial de uso, tanto na tomada de decisões, quanto na forma como as pessoas pensam a própria avaliação (Alkin & King, 2016). Neuman et al. (2013) afirmam que se a avaliação não for utilizada, há pouca justificativa para investir os recursos na mesma. Uma das principais preocupações dos avaliadores é como as novas informações geradas por uma avaliação são usadas. Por exemplo, se os resultados e conclusões têm algum efeito na instituição ou se as recomendações estão realmente implementadas (Neuman et al., 2013), uma vez que a razão de ser da avaliação é a contribuição que ela dá para melhorar as operações do programa (Alkin & King, 2016; King & Alkin, 2019). O uso da avaliação pode ser entendido como a aplicação de processos de avaliação, produtos ou descobertas para produzir um efeito (Johnson et al., 2009). Uma definição mais abrangente do uso da avaliação inclui o estímulo inicial, ou seja, se o uso advém do conhecimento dos resultados da mesma ou se advém da participação no processo avaliativo (Alkin & King, 2017). No Brasil, as Instituições de Ensino Superior (IES) são avaliadas a partir do Sistema Nacional de Avaliação da Educação Superior (Sinaes), criado pela Lei nº 10.861, em 14 de abril de 2004, e que é formado por três componentes principais: a avaliação das instituições, a avaliação dos cursos e a avaliação do desempenho dos estudantes. Juntos, estes componentes formam o tripé avaliativo e que têm como objetivo avaliar todos os aspectos que envolvem ensino, pesquisa, extensão, responsabilidade social, desempenho dos alunos, gestão da instituição, corpo docente e instalações (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [INEP], 2015a, 2015b). Ressalta-se que, para fins dessa pesquisa (Silva, 2022), serão objetos de estudo as avaliações externas dos cursos e do desempenho dos estudantes. Ao ser submetida a todas as avaliações que compõem o tripé avaliativo do Sinaes, a Universidade Federal da Bahia (UFBA), lócus deste trabalho, produz inúmeros processos e resultados de avaliação. Nesse sentido, essa pesquisa propôs-se a analisar como os Coordenadores de Curso de graduação da UFBA usam a avaliação do Sinaes. Ressalta-se que essa pesquisa delimitou como fonte de dados os coordenadores de curso (termo usual para o cargo formal de Coordenadores de Colegiado de Curso), devido a sua relevância nos processos de Os muitos usos da avaliação do Sinaes 3 avaliação (Silva, 2022). Desmembrar a noção de uso de avaliação pode ajudar todos os envolvidos a tomarem consciência de sua natureza diversa e, ao mesmo tempo, alertá-los para suas características únicas (Alkin & Taut, 2002). Pretende-se contribuir para o campo da avaliação através da análise dos usos que são feitos, conforme estudos feitos anteriormente (Carden & Earl, 2007; D’Ostie-Racine et al., 2016; Peterman & Gathings, 2019; Yusa et al., 2016), mas em um contexto de sistema avaliativo, o Sinaes. Sistemas avaliativos carecem de estudos sobre os usos que são feitos dos seus processos e resultados (Hojlund, 2014; Leeuw & Furubo, 2008). Investir mais na reflexão sobre as ações que podem ser implementadas a partir das avaliações contribui para evitar que sistemas de avaliação funcionem com incentivos próprios, ou seja, um sistema que sobrevive de gerar demandas para o próprio sistema (Leeuw & Furubo, 2008). Usos da Avaliação Na década de 1960, avaliadores estimulados pelas críticas de membros do Congresso dos Estados Unidos de que os resultados da avaliação não estavam sendo usados, procuraram com fervor compreender melhor toda a gama de usos da avaliação, incluindo instâncias de usos que não eram imediatamente discerníveis (Alkin & Taut, 2002). Como resultado, três categorias de usos foram identificadas: instrumental, conceitual (ou iluminador ou empoderador) e simbólico (ou político ou persuasivo). Nas décadas de 1970 e 1980 muitas pesquisas foram conduzidas para tentar identificar os usos e possíveis fatores relacionados ao aumento dos níveis de uso (Preskill & Torres, 2000). O uso da avaliação busca entender questões como, por exemplo, se a avaliação gerou nova compreensão, se mudanças progressivas foram implantadas ou se as pessoas adquiriram novas habilidades e percepções a partir da avaliação (Alkin & Taut, 2002). Com o passar dos anos surgiu um interesse crescente em expandir a noção de uso da avaliação para além do uso dos resultados da mesma. Vários pesquisadores (Cousins & Earl, 2005; Fetterman, 2003; Greene, 1988; Patton, 1998, 2020; Preskill & Caracelli, 1997; Torres & Preskill, 1999) escreveram sobre a importância e o valor de envolver várias partes interessadas no processo de avaliação e discutiram os benefícios de tal participação. Assim, passou-se a separar as fontes de usos da avaliação em: usos advindos do resultado da avaliação e usos advindos do processo avaliativo (Alkin & King, 2017; Alkin & Taut, 2002). Ao contrário de tipos de usos, o que muitas vezes se chama uso do processo, assim como o uso dos resultados, refere-se às fontes de estímulo para o uso ou origem. Ou seja, o uso do processo e o uso dos resultados são fontes de estímulo para os usos da avaliação, enquanto os usos instrumental, conceitual e simbólico são tipos de usos da avaliação, os quais podem ter origem em ambas as fontes de estímulos (Alkin & King, 2016). Nesse sentido, pode-se afirmar ainda que os usos advindos do processo também podem ocorrer de forma instrumental, conceitual ou simbólica, assim como os usos advindos dos resultados. O uso advindo do processo apareceu inicialmente como uma quarta categoria de uso e só posteriormente foi reanalisado e reposicionado como uma segunda fonte, junto com o uso dos resultados. Alguns escritores identificaram inicialmente o uso do processo como um tipo de uso paralelo ao instrumental, ou ao uso conceitual, e mais à frente ao uso simbólico, no entanto, é importante observar que o uso do processo não é um tipo de uso adicional. Pelo contrário, refere-se a uma fonte de estímulo. Ou seja, os resultados podem gerar usos, assim como o processo avaliativo (Alkin & King, 2016; Alkin & Taut, 2002). Sendo assim, os usos da avaliação são categorizados em instrumental (apoio à decisão e função de resolução de problemas), conceitual (função educativa) e simbólico (função política) e podem ter origem nos resultados ou no processo avaliativo (Alkin & King, 2016; Alkin & Taut, 2002). O uso instrumental refere-se a casos em que os processos avaliativos ou os resultados de uma avaliação foram usados em ações diretas, como tomar decisões específicas sobre um Arquivos Analíticos de Políticas Educativas Vol. 32, No. 33 4 programa. Já o uso conceitual descreve instâncias onde nenhuma decisão direta foi tomada, mas compreensões conceituais específicas foram modificadas, relacionadas a mudanças na forma como os usuários pensam sobre aspectos específicos de um programa. E o simbólico refere-se ao uso político, seja do processo ou do resultado, para justificar uma decisão (legitimador), defender um ponto de vista, angariar recursos, capitalizar o programa ou manter um símbolo ou um status (Acree & Chouinard, 2019; Alkin & King, 2016; Alkin & Taut, 2002; Baughman et al., 2012; Carden & Earl, 2007; D’Ostie-Racine et al., 2016; Johnson et al., 2009; Lawrenz et al., 2007; Paixão & Rodriguez, 2023; Peterman & Gathings, 2019; Saunders, 2012; Taut, 2007; Yoo, 2010; Yusa et al., 2016). No que diz respeito ao uso simbólico, Alkin e King (2017) consideram alguns casos como sendo usos inadequados. Por exemplo, quando avaliações são patrocinadas para satisfazer fontes de financiamento sem nenhuma intenção real de prestar atenção ao programa avaliado. Neste caso, os processos e resultados da avaliação perdem sentido devido ao seu descompromisso ético e seu potencial desperdício de recursos organizacionais, evidenciando o uso indevido (Alkin & King, 2017). Procedimentos Metodológicos Os procedimentos utilizados neste estudo foram disponibilizados no Open Science Framework (OSF), por meio do link osf.io/458zu, com o intuito de possibilitar a transparência e reprodução da pesquisa, além da disseminação do conhecimento de maneira mais rápida e abrangente, como recomendado pelas boas práticas de pesquisas acadêmicas (Silva, 2022). A pesquisa foi composta por duas etapas operacionais. A primeira etapa operacional constituiu-se na definição dos cursos cujos respectivos coordenadores ou ex-coordenadores foram entrevistados. Para isso foi feito um levantamento dos cursos de graduação da UFBA com a respectiva quantidade de alunos ativos. Além disso, foi necessário o levantamento histórico da participação cursos nas avaliações dos Sinaes. Esse segundo levantamento foi realizado por meio da análise dos relatórios de avaliação in loco disponibilizados no site da Comissão Própria de Avaliação (CPA) da UFBA e no sistema e-MEC, além dos relatórios do Exame Nacional de Desempenho dos Estudantes (Enade) por instituição disponibilizados no portal do INEP. Nesse processo foram excluídos os cursos que não fizeram avaliação pelo Sinaes e, também, os cursos realizados em parceria com o Plano Nacional de Formação de Professores (PARFOR), por serem poucos, esporádicos e com reduzido número de alunos ativos. A segunda etapa operacional da pesquisa foi a realização das entrevistas até o devido atingimento da saturação de respostas (Strauss & Corbin, 2008). Tendo em vista o dilema em relação a quanto tempo um pesquisador deveria continuar coletando dados, no que diz respeito a pesquisa qualitativa, deve-se continuar a coleta até que todas as categorias estejam saturadas. A saturação significa que nenhum dado novo ou relevante tenha surgido; que a categoria tenha propriedade, dimensões e variação suficiente; e que a relação entre as diversas categorias esteja bem estabelecida e válida (Strauss & Corbin, 2008). Na realização das entrevistas, os tipos de usos elencados foram apresentados aos coordenadores ou ex-coordenadores dos cursos de graduação a partir de um roteiro semiestruturado elaborado conforme informações extraídas da literatura de usos da avaliação. As entrevistas foram realizadas por meio das plataformas de videoconferência Google Meet e Jipsi Meet. O Termo de Consentimento Esclarecido foi apresentado no início de cada entrevista, sendo que todos os participantes concordaram em colaborar. As transcrições, com as devidas intervenções para anonimização dos respondentes, estão disponíveis no diretório do OSF citado (Silva, 2022). Convém ressaltar que foi realizado um pré-teste com três coordenadores, sendo o material aproveitado dentro do conjunto de dados. Observou-se, após as três primeiras entrevistas, que o roteiro poderia ser simplificado para evitar redundâncias. A versão final do roteiro (ver Tabela 1) teve os seguintes objetivos: identificar o nível de participação do Os muitos usos da avaliação do Sinaes 5 coordenador nas avaliações; e identificar os usos instrumental, conceitual e simbólico advindos do processo ou dos resultados da avaliação do Sinaes. Tabela 1 Perguntas para Roteiro de Entrevista por Objetivo após o Pré-Teste Perguntas Propósito das perguntas Há quanto tempo você é coordenador(a) nesse curso? Identificar com profundidade o nível de participação do coordenador (a) nas avaliações Você já participou de alguma avaliação do curso como coordenador(a)? Qual ou quais? Você já foi ou é avaliador do INEP? Quando? Quais avaliações você já participou? Alguma do mesmo curso que você coordena hoje? Você já participou de alguma avaliação do seu curso antes de ser coordenador(a)? Quando? Quais? - E de outros cursos da universidade? Quando? Quais? - E de cursos em outras universidades? Quando? Quais? Você acredita que essas experiências contribuíram de alguma forma nas avaliações que você participou como coordenador(a) do seu curso? E sobre sua participação na avaliação, como ocorreu efetivamente? (Avaliação in loco) - Você participou das atividades prévias a avaliação (preenchimento do formulário eletrônico com as informações do curso, recolhimento e organização da documentação do curso e dos professores, organização do espaço físico e etc.)? Como foi esse processo prévio? - Foi você que recebeu a comissão de avaliação? Como foi? - Você acompanhou todos os dias de avaliação? - Você acompanhou a comissão nas diversas reuniões (abertura, docentes, discentes, técnicos administrativos, NDE, CPA, biblioteca e fechamento) e ações (tour pelas instalações)? Como foi? (Enade) - Você participou do processo de levantamento/definição e das inscrições dos estudantes? - Você elaborou, apoiou ou participou de eventos para motivar e orientar a participação dos estudantes no processo? - Você participou do Seminário Enade que costuma ser promovido pela Prograd? Todo esse trabalho realizado antes e durante a avaliação foi um trabalho realizado em conjunto com o colegiado ou foi um trabalho mais individual enquanto coordenador (a)? -Como você definiria seu nível de participação? Você diria que vocês usam as avaliações? Como? Identificar usos Ao assumir como coordenador você teve acesso as avaliações já realizadas pelo curso? Como? - Você utilizou os resultados dessas avaliações de alguma forma na sua coordenação? Como? - Você utilizou as experiências com avaliação do antigo coordenador de alguma forma? Como? Após a avaliação você promoveu alguma reunião com a equipe para tratar sobre a avaliação? E que tipo de reverberações teve essa reunião? (Ações, aprendizados, motivação da equipe e etc.) Arquivos Analíticos de Políticas Educativas Vol. 32, No. 33 6 Perguntas Propósito das perguntas Você já tomou decisões que mudaram suas atitudes ou a forma de fazer as coisas na sua atividade como coordenador(a) e/ou professor(a) em função da avaliação? Quais? Identificar usos instrumentais As avaliações do seu curso permitiram que você aprendesse mais sobre o curso? O que aprendeu de novo? - Mudou o seu entendimento ou a sua forma de pensar sobre o curso? Como? - Que outros aprendizados você acredita ter adquirido? Identificar usos conceituais Você já usou as avaliações como justificativa à alguma opinião ou decisão sua? Quais? (sondar se foi usado mais o processo ou os resultados) - Você já usou as avaliações para pleitear algo para o curso, para equipe ou para você? O que? - Você já usou as avaliações como fator motivador para que sua equipe ou outras pessoas envolvidas se convencesse a realizar alguma atividade? Como? - E, para melhorar a reputação do curso? Como? Identificar usos simbólicos Você acredita que os usos relatados vieram mais da participação no processo da avaliação ou do conhecimento dos resultados apresentados nos relatórios de avaliação? Identificar fontes dos usos Como você acha que a avaliação poderia ser melhor usadas? Identificar usos potenciais Fonte: Elaborado pelos autores. A análise e interpretação deste estudo se orientou por meio do entendimento e conceituação de técnicas e métodos de análises de conteúdo das entrevistas. A análise de conteúdo conta com cinco fases: a organização da análise (pré-análise, organização do material, tratamento dos resultados, inferência e a interpretação); a codificação (transformação dos dados brutos do texto, e agregação em unidades), permitindo uma descrição exata das características pertinentes do conteúdo; a categorização (operação de classificação de elementos constitutivos de um conjunto, por diferenciação e, seguidamente, por reagrupamento segundo o gênero, com os critérios previamente definidos), a inferência e o tratamento informático (Bardin, 2016). Foram realizadas 30 entrevistas semiestruturadas entre Junho e Julho de 2021, que juntas somaram pouco mais de 33 horas de conteúdo. Elas foram devidamente transcritas e analisadas com o suporte do software MAXQDA, um programa de análise de pesquisas qualitativas e métodos mistos de código fechado, cuja licença foi obtida pela Universidade Federal da Bahia. Os possíveis usos apresentados pelos entrevistados foram analisados a partir das fontes de uso (usos do processo e usos do resultado) e dos tipos de usos (uso instrumental, conceitual e simbólico), conforme proposto por Alkin e King (2016). Os 30 coordenadores ou ex-coordenadores de curso representam 33 cursos, tendo em vista que três coordenadores representavam mais de um curso, o que é possível na UFBA dado que, do ponto de vista da gestão acadêmica, as habilitações ou turnos de curso podem ser considerados como um único curso, enquanto que para o Sinaes são considerados como cursos distintos que passam por avaliações distintas. Dos entrevistados houve representantes de quase todas as áreas (ver Tabela 2), sobretudo cursos da área I (Ciências Físicas, Matemática e Tecnologias) e área II (Ciências Biológicas e profissões da saúde). Apenas a área III (Letras) não teve entrevistado. No total foram 19 coordenadores e 11 ex-coordenadores no momento das entrevistas. Treze deles participaram do Enade, onze das avaliações in loco realizadas pelo MEC e seis de ambos os processos. É importante ressaltar que dois dos entrevistados são avaliadores do INEP, um já foi avaliador, e ao Os muitos usos da avaliação do Sinaes 7 menos 11 deles já participaram de outras avaliações do Sinaes, denotando um certo nível de aproximação com os referidos processos avaliativos. Tabela 2 Cursos de Origem dos Participantes das Entrevistas Nome do curso Última avaliação no curso Ano da última avaliação Enfermagem (Vitória da Conquista) Avaliação in loco 2020 Artes Cênicas - Direção Teatral Avaliação in loco 2019 Artes Cênicas - Interpretação Teatral Avaliação in loco 2019 Biotecnologia Avaliação in loco 2019 Comunicação - Produção em Comunicação e Cultura Avaliação in loco 2019 Dança (Bacharelado) Avaliação in loco 2019 Engenharia Civil Enade 2019 Engenharia de Computação Enade 2019 Engenharia de Controle e Automação de Processos Enade 2019 Engenharia Elétrica Enade 2019 Engenharia Mecânica Enade 2019 Engenharia Química Enade 2019 Engenharia Sanitária e Ambiental Enade 2019 Estatística Avaliação in loco 2019 Fisioterapia Enade 2019 Fonoaudiologia Enade 2019 Medicina Veterinária Enade 2019 Nutrição Enade 2019 Zootecnia Enade 2019 Administração Enade 2018 Artes Plásticas Avaliação in loco 2018 Biotecnologia (Vitória da Conquista) Avaliação in loco 2018 Canto Avaliação in loco 2018 Composição e Regência - Composição Avaliação in loco 2018 Comunicação - Jornalismo Enade 2018 Direito (Diurno) Enade 2018 Direito (Noturno) Enade 2018 Geologia Avaliação in loco 2018 Instrumento Avaliação in loco 2018 Licenciatura em Teatro Avaliação in loco 2018 Oceanografia Avaliação in loco 2018 Secretariado Executivo Enade 2018 Serviço Social Enade 2018 Fonte: Elaborado pelos autores. Arquivos Analíticos de Políticas Educativas Vol. 32, No. 33 8 Análise dos Resultados A Tabela 3 apresenta a distribuição das codificações realizadas em todas as 30 entrevistas por fontes e tipos de uso. Das 533 codificações realizadas, pode-se observar que há uma predominância das codificações para fonte de usos dos resultados (65%), enquanto que 35% são usos advindos do processo de avaliação. Tabela 3 Distribuição das Codificados por Tipos e Fontes de Uso Tipos de usos Usos do processo Usos do resultado Total Uso conceitual 101 53% 88 47% 189 100% Uso simbólico 33 18% 146 82% 179 100% Uso instrumental 50 30% 115 70% 165 100% Total 184 35% 349 65% 533 100% Fonte: Elaborado pelos autores. Do ponto de vista dos tipos de usos, pode-se concluir que as entrevistas apontaram um certo equilíbrio, uma vez que 35% dos segmentos codificados foram de usos conceituais, 34% de usos simbólicos e 31% de usos instrumentais. Sobre uso conceitual, observa-se uma certa harmonia em relação as fontes de uso, tendo em vista que 53% foram advindos do processo, enquanto que 47% foram advindos do resultado. Já para os usos simbólico e instrumental observou-se um predomínio de usos advindos do resultado. Entende-se que os resultados apresentados podem ser explicados pelas características dos entrevistados desta pesquisa, sua relação com as avaliações e, sobretudo, o tipo de avaliação as quais eles foram submetidos. Houve relatos em relação ao período de avaliação ser muito curto, enquanto que a experiência é muito intensa e estressante, o que de alguma forma impede o aproveitamento do momento em sua plenitude, no que tange, por exemplo, as avaliações in loco. Em outras palavras, a carga de trabalho excessiva durante o período da avaliação pode ter interferido para a elevação dos usos advindos do processo. Usos Instrumentais Foram categorizados 22 usos instrumentais, provenientes da fonte processo, da fonte resultado ou de ambas (ver Tabela 4). Os cinco primeiros usos instrumentais listados representam aproximadamente 56% do total de segmentos codificados. Tabela 4 Resumo Segmentos Codificados como Uso Instrumental por Fontes de Uso Usos da avaliação Uso instrumental Do processo Do resultado Total % Total linha % Total coluna n % linha n % linha Apoiou análises e discussões dos resultados 0 0% 31 100% 31 100% 18,8% Apoiou o andamento de reforma curricular (PPC) 0 0% 20 100% 20 100% 12,1% Apoiou melhoria das relações interpessoais 8 57% 6 43% 14 100% 8,5% Promoveu reuniões pré-avaliação com os discentes 14 100% 0 0% 14 100% 8,5% Os muitos usos da avaliação do Sinaes 9 Usos da avaliação Uso instrumental Do processo Do resultado Total % Total linha % Total coluna n % linha n % linha Apoiou reavaliação do currículo do curso 0 0% 13 100% 13 100% 7,9% Apoiou alterações curriculares 2 22% 7 78% 9 100% 5,5% Apoiou melhorias na organização burocrática do curso 4 50% 4 50% 8 100% 4,8% Apoiou avaliação específica das provas do Enade 0 0% 7 100% 7 100% 4,2% Apoiou o envolvimento da comunidade com a avaliação 6 100% 0 0% 6 100% 3,6% Apoiou o aprimoramento da comunicação 1 20% 4 80% 5 100% 3,0% Apoiou rotinas voltadas para avaliação 5 100% 0 0% 5 100% 3,0% Instituiu/fortaleceu o NDE 0 0% 5 100% 5 100% 3,0% Apoiou discussões sobre o perfil de docentes 0 0% 4 100% 4 100% 2,4% Encaminhou apontamentos da avaliação para órgãos responsáveis 0 0% 4 100% 4 100% 2,4% Impulsionou estudos sobre o curso 4 100% 0 0% 4 100% 2,4% Apoiou a produção docente 0 0% 3 100% 3 100% 1,8% Estimulou estudos sobre a avaliação 3 100% 0 0% 3 100% 1,8% Incentivou o uso das provas do Enade no decorrer do curso 0 0% 3 100% 3 100% 1,8% Promoveu reuniões para troca de experiência entre coordenadores 3 100% 0 0% 3 100% 1,8% Apoiou a melhoria da titulação do corpo docente 0 0% 2 100% 2 100% 1,2% Apoiou análise de como os discentes enxergam o curso 0 0% 1 100% 1 100% 0,6% Instituiu uma comissão própria de avaliação para o curso 0 0% 1 100% 1 100% 0,6% Total 50 30% 115 70% 165 100% 100% Fonte: Elaborado pelos autores. Dos usos com maior frequência destacou-se “apoiou análises e discussões dos resultados” com 18,8% dos segmentos, sendo todos oriundos da fonte resultado e que possui similaridade com uso listado por D’Ostie-Racine et al. (2016), Peterman & Gathings (2019) e (Paixão & Rodriguez, 2023). Foram 31 abordagens nesse sentido, das quais destaca-se: [...] a então Coordenadora... ela baixou os microdados da avaliação pra entender qual eram os pontos que eram frágeis e onde nós fomos pior avaliados. E ela fez uma análise disso, fez uma apresentação. E a gente buscou identificar como a gente poderia melhorar isso, pra a de 2019 ser melhor. E de fato a gente fez essa sensibilização e digo, em 2019 a gente teve essa nota melhor. (Entrevistado 2) Arquivos Analíticos de Políticas Educativas Vol. 32, No. 33 10 Em seguida, com 12,1% dos segmentos codificados pode-se evidenciar o uso “apoiou o andamento de reforma curricular (PPC)”, que também é um tipo de uso advindo totalmente dos resultados. Os entrevistados fizeram 20 apontamentos de uso neste sentido, grande parte porque já estavam em processo de reformulação curricular e a avaliação foi uma força externa aceleradora deste processo: Então, mas as considerações que foram colocadas, inclusive sobre a questão do currículo, porque a gente tem um processo de reestruturação curricular em aberto, em eterna diligência, e eu acho que isso foi utilizado como uma motivação também pra fechar [...]. (Entrevistado 27) E para outra parte dos entrevistados, porque de alguma forma foram prejudicados no processo avaliativo devido a desatualização do Projeto Pedagógico do Curso (PPC), como é possível observar na seguinte fala: [...]ficamos com a nota quatro por conta da questão do currículo que tinha uma série de problemas. Então nosso currículo ele era relativamente antigo. E ele tinha uma série de problemas, principalmente, pra atender algumas legislações que saíram a partir de 2013. Então, foi isso que a gente foi mais penalizado. Então, a gente fez uma reformulação curricular que inclusive essa reformulação curricular foi implantada o ano passado [...]. (Entrevistado 5) O uso “apoiou melhoria das relações interpessoais”, advindo tanto do processo, quanto do resultado, foi considerado como instrumental porque levou a ações diretas para engajar a comunidade, assim como nas pesquisas de D’Ostie-Racine et al. (2016) e Lawrenz et al. (2007). Este uso, quando originado da fonte processo, estava muito ligado à necessidade de engajar a comunidade para participar da avaliação, como na fala: [...] antes fizemos uma reunião com os discentes para explicar o que seria o processo, e que acabou gerando um processo de escuta constante. [...] não tenho dúvida que aquele momento, que é, motivado, impulsionado pela vinda da avaliação in loco, gerou um processo de escuta e [...] isso foi o elemento que impulsionou a questão da comunicação, estabelecer dias disponíveis, independente de ter pauta ou não, tivemos representante discente dentro, como membro do colegiado, e na pandemia isso se intensificou, que até canal de Instagram a gente abriu (Entrevistado 26). Já quando originado da fonte resultado teve relação com aproveitar a ocasião de divulgação dos bons resultados para fortalecer os vínculos acadêmicos, como em: “E as vezes também a gente tem alguns probleminhas de relacionamento dentro da unidade. E eu utilizei essa nota também para estreitar os laços e diminuir esses problemas de relacionamento.” (Entrevistado 11). No agrupamento “promoveu reuniões pré-avaliação com os discentes”, todos os apontamentos foram direcionados para engajar e dirimir dúvidas dos discentes e, também, prepara-los para a avaliação, sendo a maioria referente às provas do Enade. A categoria “apoiou reavaliação do currículo do curso” teve 13 indicações de que o uso do resultado foi feito para repensar alguns pontos do currículo do curso, como: [...] a gente pegou aquilo tudo e entendeu que a gente precisava de uma reforma curricular, que a gente estava com um currículo bastante deformado em termos de carga horária de algumas disciplinas, que tinham conteúdos que já estavam nas diretrizes que a gente nem sonhava ter no departamento [...], a gente tá fazendo alguma coisa em termos de oferta de optativas, tentando costurar alguma coisa [...]. (Entrevistado 20) Os muitos usos da avaliação do Sinaes 11 Destacou-se os usos categorizados com maior frequência, mas vale ressaltar que 73 possíveis usos instrumentais evidenciados em outras 17 categorias foram apontados e são também, significativos. Aqueles específicos de ações ligadas à universidade não encontram similaridade com pesquisas anteriores, mas os demais foram previamente relatados (Baughman et al., 2012; D’Ostie-Racine et al., 2016; Lawrenz et al., 2007; Peterman & Gathings, 2019). Usos Conceituais Foram categorizados 13 possíveis usos conceituais, originados na fonte processo, resultado ou ambas (ver Tabela 5). Dos 189 usos apontados, cerca de 64% deles concentram-se nas quatro primeiras categorias apresentadas. Tabela 5 Resumo Segmentos Codificados como Uso Conceitual por Fontes de Uso Usos da avaliação Uso conceitual Do processo Do resultado Total % Total linha % Total coluna n % linha n % linha Mudou posturas/percepções 17 46% 20 54% 37 100% 19,6% Melhorou compreensão sobre a avaliação e seu universo 24 67% 12 33% 36 100% 19,0% Melhorou compreensão sobre a unidade de ensino e/ou o curso 17 63% 10 37% 27 100% 14,3% Despertou um olhar para a próxima avaliação 3 14% 18 86% 21 100% 11,1% Melhorou compreensão sobre gestão acadêmica 13 76% 4 24% 17 100% 9,0% Melhorou compreensão sobre o currículo do curso 0 0% 9 100% 9 100% 4,8% Melhorou compreensão sobre o perfil de formação do curso 3 33% 6 67% 9 100% 4,8% Melhorou compreensão sobre o perfil do discente 4 50% 4 50% 8 100% 4,2% Mudou percepções sobre avaliação 5 63% 3 38% 8 100% 4,2% Melhorou compreensão sobre os aspectos pedagógicos 3 60% 2 40% 5 100% 2,6% Melhorou compreensão sobre a universidade 4 100% 0 0% 4 100% 2,1% Melhorou compreensão sobre o perfil do docente do curso 4 100% 0 0% 4 100% 2,1% Melhorou compreensão sobre si mesmo 4 100% 0 0% 4 100% 2,1% Total 101 53% 88 47% 189 100% 100% Fonte: Elaborado pelos autores. Dos usos com maior frequência de apontamentos destaca-se “mudou posturas/percepções”. Esse tipo de uso também é bastante presente nas pesquisas empíricas anteriores (Acree & Chouinard, 2019; D’Ostie-Racine et al., 2016; Peterman & Gathings, 2019; Taut, 2007) e é central na categoria de usos conceituais. As falas evidenciam como o posicionamento pessoal do entrevistado mudou com a experiência vivenciada, como nos exemplos: Arquivos Analíticos de Políticas Educativas Vol. 32, No. 33 12 Então em alguns momentos eu tive que rever alguns posicionamentos [...] por causa da preparação pra avaliação[...]. É a questão do amadurecimento [...], não digo que modificou, mas que melhorou a forma de agir. (Entrevistado 9) [...] eu não tenho dúvida que o processo avaliativo pelo elemento motivador que é, estamos sendo avaliados pelo INEP, e isso com essa mobilização da UFBA que envolve a CPA, eu não tenho dúvida que [...] acabou se resvalando na minha ação como gestora do colegiado [...]. (Entrevistado 26) A categoria “melhorou compreensão sobre a avaliação e seu universo” ficou com 19% de frequência de codificação. Este uso não foi tão relatado na literatura da área, sendo presente em processos avaliativos mais longos ou repetidos (D’Ostie-Racine et al., 2016) ou quando há um sistema de avaliação implantado (Leeuw & Furubo, 2008), como é o caso. Destacam-se segmentos onde entrevistados comentam quais aprendizados foram obtidos durante o processo de avaliação, como: “Esse instrumento de avaliação só ficou claro pra mim quando eu passei pela avaliação in loco [...]” (Entrevistado 10). Ou ainda, em situações em que entrevistados relatam que não obteriam esses aprendizados se não tivessem passado pelo processo avaliativo: [...] para responder esses pontos [...] a gente vai dividir, a gente vai estudar, vai pra o currículo, vai buscar o NDE pra tirar dúvida, vai conversar com quem estava no colegiado naquela época, vai entender no departamento o que é que tal coisa, vai perguntar à Prograd [...]. É um processo formativo isso, então não tem como a avaliação não entrar na gente, não tem como a avaliação não ser utilizada depois [...]. (Entrevistado 8) Dos segmentos codificados, 14,3% refere-se a usos voltados para a melhoria da compreensão em relação à unidade de ensino ou ao próprio curso, ou seja conhecer mais profundamente o objeto (Acree & Chouinard, 2019; Fetterman, 2003; Shaw & Campbell, 2014). Os segmentos enfatizam o quanto o processo de avaliação aumentou o domínio sobre a realidade do curso, como no exemplo: [...] quando você mergulha nesse processo de avaliação, você acaba tendo um domínio completo da situação real do curso, da situação que ele se encontra. Então com esse domínio completo da pra você conhecer realmente sobre demandas, sobre questões positivas do curso, sobre uma série de coisas, porque todo o panorama do curso tá ali posto a mesa. Então isso é interessante pra o coordenador vivenciar isso [...]. (Entrevistado 28) Na categoria “despertou um olhar para a próxima avaliação”, majoritariamente presente na fonte resultados, foram evidenciadas situações em que os resultados da avaliação fizeram com que os entrevistados voltassem a sua atenção para as avaliações futuras, como: “Quando sai o resultado[...], a gente vai ter que dar conta disso aqui porque a gente não vai sobreviver com uma outra [...]” (Entrevistado 1). Ou como colocado em: “A gente planeja isso, a evolução do curso. [...] Quem sabe a gente alcança um cinco pelo menos no conceito ENADE, né?” (Entrevistado 6). Pensar sobre o futuro do curso e sobre como será avaliado é uma característica de sistemas avaliativos regulares (Hojlund, 2014; Leeuw & Furubo, 2008) e é um indicativo de que avaliação é parte regular do programa (Shaw & Campbell, 2014). Outros segmentos foram codificados em nove categorias, porém em menor frequência. Ressalta-se que os usos conceituais referem-se a casos em que nenhuma ação direta foi tomada, mas onde o entendimento das pessoas foi afetado (Acree & Chouinard, 2019; Alkin & Taut, 2002; D’Ostie-Racine et al., 2016; Johnson et al., 2009; Peterman & Gathings, 2019). A maioria destes usos nesta pesquisa está relacionada com a aquisição de aprendizados sobre diversos aspectos que envolvem o curso. Além disso, o processo de avaliação pode mudar as atitudes dos Os muitos usos da avaliação do Sinaes 13 usuários sobre a importância da avaliação ou sobre o papel potencial de várias partes interessadas na tomada de decisões (Alkin & King, 2017; Alkin & Taut, 2002), aspectos que dialogam com as categorias apresentadas. Usos Simbólicos O uso simbólico ou legitimador tem uma função política, persuasiva, uma vez que, pode ser caracterizado por ações em que a avaliação é usada para justificar uma decisão que já havia sido tomada ou para demonstrar que um programa estava disposto a ser avaliado, aumentando assim a reputação do gestor do programa ou seu criador (Alkin & King, 2017; Alkin & Taut, 2002; Johnson et al., 2009). Os entrevistados relataram diversos usos que levaram à categorização de oito tipos de usos simbólicos (ver Tabela 6). Dos 179 segmentos codificados, aproximadamente 74% concentram-se nas três primeiras categorias. Tabela 6 Resumo Segmentos Codificados como Uso Simbólico por Fontes de Uso Usos da avaliação Uso simbólico Do processo Do resultado Total % Total linha % Total coluna n % linha n % linha Mobilizou a comunidade para a avaliação 23 49% 24 51% 47 100% 26,3% Pleiteou recursos 7 16% 37 84% 44 100% 24,6% Divulgou resultados 0 0% 41 100% 41 100% 22,9% Justificou decisões e/ou ações 1 5% 20 95% 21 100% 11,7% Motivou a comunidade 0 0% 16 100% 16 100% 8,9% Mobilizou o NDE 0 0% 5 100% 5 100% 2,8% Motivou ações voltadas a reputação do curso 0 0% 3 100% 3 100% 1,7% Divulgação de material sobre a avaliação 2 100% 0 0% 2 100% 1,1% Total 33 18% 146 82% 179 100% 100% Fonte: Elaborado pelos autores. A categoria que envolve usos que relacionados à mobilização da comunidade acadêmica para a avaliação foi a mais evidente. Quando advindo da fonte processo avaliativo, os usos foram mais direcionados à necessidade de persuadir a comunidade para o processo avaliativo, sobretudo os discentes, como em: “O coordenador que faz uma reunião com eles todos para mostrar a prova anterior [...]. É aquele tipo de prova, é longa [...], mas é muito importante que vocês respondam.” (Entrevistado 23). Já os usos advindos da fonte resultado foram mais direcionadas à necessidade de engajamento da comunidade voltada para o próprio uso dos resultados da avaliação, como em: “[...] a gente precisa fazer isso, porque a resolução fala assim, o MEC visitou e disse dessa forma, a gente precisa se ajustar e pronto [...]” (Entrevistado 12). Essa mobilização se aproxima da ideia de legitimação e validação de ações (Acree & Chouinard, 2019), mas também de persuasão dos envolvidos (D’Ostie-Racine et al., 2016). O uso “pleiteou recursos” teve 24,6% dos segmentos codificados. Usar a avaliação para pleitear recursos é bastante presente nas pesquisas empíricas anteriores (Acree & Chouinard, 2019; D’Ostie-Racine et al., 2016; Peterman & Gathings, 2019). Foram 44 apontamentos nesta categoria, sendo 84% advindos da fonte resultado. Destes pode-se destacar várias falas onde o coordenador/ex-coordenador pleiteia os mais diversos recursos (infraestrutura, vagas docentes, Arquivos Analíticos de Políticas Educativas Vol. 32, No. 33 14 reformas curriculares, espaço, acessibilidade, bibliografias e etc.) para o curso, destacando-se: “[...] estamos pleiteando agora com a reforma pra ver se a escola consegue criar um laboratório, né, específico da área [...]” (Entrevistado 19). A categoria “divulgou resultados” foi evidenciada por quase todos os entrevistados e representa a ideia da persuasão, central nos usos simbólicos, e encontrada em outras pesquisas empíricas (Acree & Chouinard, 2019; D’Ostie-Racine et al., 2016; Peterman & Gathings, 2019). Há apontamentos que descrevem esse tipo de uso realizado por meio de reuniões, eventos, rede social e outros, dos quais vale a pena evidenciar: “Claro que a escola divulgou, acredito que nos jornais informativos, a nota, pra que todos tivessem conhecimento.” (Entrevistado 4); e A ideia é sempre aquela propaganda [...]. O curso ficou com nota boa, nota quatro. Então isso melhora assim [...], a autoestima, primeiramente do aluno, por estar num curso que tem um bom nível, e também do professor [...]. (Entrevistado 30) O uso simbólico pode-se referir tanto a exemplos de quando uma pessoa usa a mera existência da avaliação, ao invés de qualquer aspecto de seus resultados, para persuadir ou convencer (Johnson et al., 2009), quanto a exemplos em que depende dos achados da avaliação para racionalizar uma decisão anterior, que seria o lado mais legitimador do uso simbólico (Alkin & King, 2016; King & Alkin, 2019). A pesquisa dialoga com esses conceitos em todos os seus aspectos, uma vez que a persuasão e a legitimação estão presentes em todas as categorias evidenciadas. Distribuição da Codificação de Segmentos entre Respondentes A Tabela 7 mostra a distribuição das codificações dos usos instrumentais, conceituais e simbólicos oriundos da fonte processo e da fonte resultado em relação a todas as entrevistas. Essa informação é relevante no sentido de evidenciar que os segmentos trabalhados nas análises realizadas foram extraídos de entrevistas cuja distribuição apresenta um certo nível de pulverização entre os respondentes, ou seja, há homogeneidade na distribuição dos usos. Em outras palavras, não há uma concentração de respostas, o que pode ser considerada uma evidência de validade externa. Conexões entre as Categorias de Usos Ao analisar a ocorrência dos usos da avaliação por parte dos coordenadores de cursos da UFBA é importante pontuar que não há uma linearidade na ocorrência dos diversos usos, podendo, por vezes, um segmento de uso da avaliação ser codificado em mais de uma categoria, algo também já identificado na abordagem quantitativa (Paixão & Rodriguez, 2023). Nesse sentido, são relevantes as informações apresentadas nas Tabelas 8 e 9, onde tem-se uma matriz de conexões entre códigos por tipo de uso. Ambas são apresentadas no formato de matriz simétrica, por isso apenas uma parte, a inferior, é apresentada. Os usos que não tiveram conexões não estão apresentados. Em ambas as tabelas é possível observar o número de ocorrências para cada conexão de código, e assim pode-se analisar as sobreposições de codificação, que podem sugerir uma relação de causa e efeito. Essa relação de causa e efeito não pode ser verificada nesta pesquisa por uma questão metodológica, ficando aqui apenas a sugestão de possíveis relações, sem a identificação de quem seria a causa e quem seria o efeito. Os muitos usos da avaliação do Sinaes 15 Tabela 7 Distribuição das Codificações de Uso do Processo e do Resultado por Entrevista Fonte: Elaborado pelos autores. Arquivos Analíticos de Políticas Educativas Vol. 32, No. 33 16 Tabela 8 Matriz de Conexões entre Códigos para Uso do Processo Fonte: Elaborado pelos autores. Usos do processo U I 1 U I 2 U I 3 U I 4 U I 5 U I 6 U I 7 U I 8 U I 1 0 U C 1 U C 2 U C 3 U C 4 U C 5 U C 6 U C 1 0 U S 1 U S 2 Uso instrumental UI 1 - Apoiou alterações curriculares - UI 2 - Apoiou melhoria das relações interpessoais 0 - UI 3 - Apoiou melhorias na organização burocrática do curso 0 0 - UI 4 - Apoiou o aprimoramento da comunicação 0 1 0 - UI 5 - Apoiou o envolvimento da comunidade com a avaliação 0 0 0 0 - UI 6 - Apoiou rotinas voltadas para avaliação 0 0 1 0 0 - UI 7 - Estimulou estudos sobre a avaliação 0 0 0 0 0 0 - UI 8 - Impulsionou estudos sobre o curso 0 0 0 0 0 0 0 - UI 10 -Promoveu reuniões pré-avaliação com os discentes 0 1 0 1 1 0 0 0 - Uso conceitual UC 1 - Despertou um olhar para a próxima avaliação 0 0 1 0 0 3 0 0 0 - UC 2 - Melhorou compreensão sobre a avaliação e seu universo 0 1 0 1 1 0 2 0 12 0 - UC 3 - Melhorou compreensão sobre a unidade de ensino e/ou o curso 0 0 0 0 2 0 0 3 0 0 2 - UC 4 - Melhorou compreensão sobre a universidade 0 1 0 0 0 0 0 0 0 0 0 1 - UC 5 - Melhorou compreensão sobre gestão acadêmica 0 0 1 0 0 0 0 0 0 0 0 2 0 - UC 6 - Melhorou compreensão sobre o perfil de formação do curso 0 0 0 0 0 1 1 0 0 0 0 0 0 0 - UC 7 - Melhorou compreensão sobre o perfil do discente 0 1 0 0 0 1 0 0 0 0 0 0 0 0 0 UC 8 - Melhorou compreensão sobre o perfil do docente do curso 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 UC 10 - Melhorou compreensão sobre si mesmo 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 - UC 11 - Mudou percepções sobre avaliação 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 UC 12 - Mudou posturas/percepções 0 3 1 0 1 3 0 0 0 3 0 0 1 1 0 1 Uso simbólico US 1 - Divulgação de material sobre a avaliação 0 0 0 0 0 0 0 0 0 0 2 0 0 0 0 0 - US 2 - Justificou decisões e/ou ações 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 - US 3 - Mobilizou a comunidade para a avaliação 1 2 0 1 4 0 0 0 14 0 14 0 0 0 0 0 2 1 US 4 - Pleiteou recursos 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 Os muitos usos da avaliação do Sinaes 17 Tabela 9 Matriz de Conexões entre Códigos para Uso do Resultado Fonte: Elaborado pelos autores. Usos do resultado U I 1 U I 3 U I 4 U I 5 U I 6 U I 7 U I 8 U I 9 U I 1 0 U I 1 1 U I 1 2 U I 1 3 U I 1 4 U I 1 6 U C 1 U C 2 U C 3 U C 4 U C 7 U C 8 U S 1 U S 2 U S 3 Uso instrumental UI 1 - Apoiou a melhoria da titulação do corpo docente - UI 3 - Apoiou alterações curriculares 0 - UI 4 - Apoiou análise de como os discentes enxergam o curso 0 0 - UI 5 - Apoiou análises e discussões dos resultados 0 0 0 - UI 6 - Apoiou avaliação específica das provas do Enade 0 1 0 0 - UI 7 - Apoiou discursões sobre o perfil de docentes 1 0 0 0 0 - UI 8 - Apoiou melhoria das relações interpessoais 0 0 0 0 0 0 - UI 9 - Apoiou melhorias na organização burocrática do curso 0 0 0 0 0 0 0 - UI 10 - Apoiou o andamento de reforma curricular (PPC) 0 0 0 1 2 0 0 0 - UI 11 - Apoiou o aprimoramento da comunicação 0 0 0 0 0 0 3 1 0 - UI 12 - Apoiou reavaliação do currículo do curso 0 1 0 1 0 0 0 0 3 0 - UI 13 - Encaminhou apontamentos da avaliação para orgãos responsáveis 0 0 0 1 0 0 0 0 0 0 0 - UI 14 - Incentivou o uso das provas do Enade no decorrer do curso 0 0 0 0 0 0 0 0 0 0 0 0 - UI 16 - Instituiu/fortaleceu o NDE 0 0 0 0 0 0 0 1 1 0 0 0 0 - Uso conceitual UC 1 - Despertou um olhar para a próxima avaliação 1 0 0 3 0 0 0 0 1 0 0 0 0 0 - UC 2 - Melhorou compreensão sobre a avaliação e seu universo 0 0 0 1 3 0 0 0 1 0 0 0 0 0 0 - UC 3 - Melhorou compreensão sobre a unidade de ensino e/ou o curso 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 - UC 4 - Melhorou compreensão sobre gestão acadêmica 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 0 1 - UC 5 - Melhorou compreensão sobre o currículo do curso 0 0 0 0 0 0 0 0 2 0 4 0 0 0 0 0 4 0 UC 7 - Melhorou compreensão sobre o perfil do discente 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 - UC 8 - Melhorou compreensão sobre os aspectos pedagógicos 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 - UC 10 - Mudou posturas/percepções 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 Uso simbólico US 1 - Divulgou resultados 0 0 0 8 0 0 0 0 1 0 0 1 0 0 1 1 0 0 0 0 - US 2 - Justificou decisões e/ou ações 0 1 0 0 1 1 0 0 0 0 0 0 0 0 2 0 0 0 0 0 0 - US 3 - Mobilizou a comunidade para a avaliação 0 0 0 6 1 0 0 0 0 0 0 3 3 0 4 2 0 0 0 0 6 2 - US 4 - Mobilizou o NDE 0 0 0 0 0 0 0 0 2 0 0 1 0 1 0 0 0 0 0 0 1 0 1 US 5 - Motivou a comunidade 0 0 0 0 0 0 0 0 1 0 0 0 0 0 3 0 0 0 0 0 8 0 0 US 7 - Pleiteou recursos 0 0 0 0 0 0 0 1 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 Arquivos Analíticos de Políticas Educativas Vol. 32, No. 33 18 Das conexões apontadas, vale ressaltar aquelas que apresentam maior número de sobreposição ao longo das entrevistas, conforme sinalizado nas tabelas. Na Tabela 8 tem-se três conexões relevantes para usos do processo. A primeira conexão é entre “promoveu reuniões pré- avaliação com os discentes” (UI 10) e “melhorou compreensão sobre a avaliação e seu universo” (UC 2), que ocorreu 12 vezes. Essa conexão mostra que um segmento de uso que indicou a promoção de reuniões pré-avaliação com os discentes (uso instrumental) também apontou para uma contribuição no sentido de melhorar a compreensão sobre a avaliação e seu universo (uso conceitual). Pode-se inferir que este tipo de uso instrumental pode influenciar em um uso conceitual de cunho mais atemporal (ou vice-versa). Segundo, tem-se com 14 ocorrências para a conexão entre “promoveu reuniões pré- avaliação com os discentes” (UI 10) e “mobilizou a comunidade para a avaliação” (US 3); e terceiro, também com 14 ocorrências para a conexão entre “melhorou compreensão sobre a avaliação e seu universo” (UC 2) e “mobilizou a comunidade para a avaliação” (US 3). De forma análoga à primeira conexão, pode-se inferir que um uso instrumental ou conceitual pode levar a uma maior mobilização persuasiva, sendo o inverso também possível. Na Tabela 9 pode-se observar a distribuição das conexões de códigos para usos do resultado, tendo quatro conexões que ocorrem com uma frequência maior e merecem ser evidenciadas. A conexão entre “apoiou análises e discussões dos resultados” (UI 5) e “divulgou resultados” (US 1) apresenta oito ocorrências de sobreposição. A conexão entre “apoiou análises e discussões dos resultados” (UI 5) e “mobilizou a comunidade para a avaliação” (US 3) teve seis ocorrências A conexão entre “mobilizou a comunidade para a avaliação” (US 3) e “divulgou resultados” (US 1) teve também seis ocorrências. E a conexão entre “divulgou resultados” (US 1) e “motivou a comunidade” (US 5) apresentou oito ocorrências. Conexões como as apresentadas reforçam a ideia de que o uso, ao invés de ser um conceito unitário, é um fenômeno multidimensional melhor descrito pela interação de várias das suas dimensões (Shulha & Cousins, 1997). As conexões evidenciadas ocorreram entre categorias de usos (instrumental-conceitual, instrumental-simbólico e conceitual-simbólico), mas também intra categorias (simbólico-simbólico). Considerações Finais O trabalho apontou quais os tipos de usos realizados com maior frequência pelos coordenadores e quais as fontes de estímulo mais acessadas. Foi possível observar que os coordenadores fazem usos estimulados tanto pela fonte processo, quanto pela fonte resultado, sendo que, os usos da fonte resultado foram predominantes. Do ponto de vista dos tipos de usos, observou-se um certo equilíbrio na distribuição dos mesmos, mas usos conceituais e simbólicos, respectivamente, foram mais evidenciados do que os usos instrumentais. A partir de 533 apontamentos dos entrevistados, essa pesquisa contribui com o levantamento de 22 categorias de uso instrumental, treze categorias de uso conceitual e oito de uso simbólico, que compõem parte do diagnóstico de como os coordenadores de curso da UFBA usam a avaliação do Sinaes. É importante ressaltar que este estudo contribui, de forma mais macro, com uma relação de possíveis usos instrumentais, conceituais e simbólicos advindos das fontes processo e resultado da avaliação que, apesar de não se configurar minimamente como uma escala de uso, pode ser considerada como uma matriz de sugestão de uso, a qual pode orientar a tomada de decisões futuras em relação ao uso das avaliações. Além disso, essa matriz de sugestões representa um conjunto de exemplos empíricos de usos, que pode contribuir com a melhor compreensão dos tipos de uso (instrumental, conceitual e símbolo). Os muitos usos da avaliação do Sinaes 19 Essa pesquisa partiu do pressuposto geral de que os coordenadores de curso de graduação da UFBA usam a avaliação do Sinaes, o que, de alguma forma, foi confirmado, uma vez que mesmo os entrevistados que afirmaram não fazer uso das avaliações, descreveram ao longo da entrevista exemplos de usos realizados. Isso pode ser explicado pelo fato de que o uso, por parte dos coordenadores, muitas vezes acontece de forma desatenta ou, mais provável, porque os usos são quase que exclusivamente associados aos usos instrumentais (D’Ostie-Racine et al., 2016). O trabalho limitou-se a avaliar usos realizados apenas pelos coordenados de curso da UFBA, e apesar de ter acessado 30 dos 101 coordenadores da UFBA, eles representam apenas um dos atores que fazem uso da avaliação. Esse universo restrito ao coordenador reduz, de certa forma, a dimensão de análise dos usos da avaliação do Sinaes. Outra limitação identificada está na não avaliação aprofundada do vínculo entre os tipos de uso. Pelas características metodológicas da pesquisa, não se pode concluir que um determinado tipo de uso causa ou precede outro, mesmo havendo indícios de que isso ocorre. E, por fim, uma outra limitação diz respeito à qualidade do uso, de forma que essa pesquisa não fez uma análise profunda sobre a forma como os usos indevidos ou maus usos ocorrem de forma a combatê-los. Sugere-se novos estudos para avaliar o uso a partir da perspectiva de outros atores da comunidade acadêmica; avaliar o uso considerando também a dimensão do mau uso ou uso indevido; e explorar a natureza dos possíveis vínculos entre os tipos de uso entre si. Referências Acree, J., & Chouinard, J. A. (2019). Exploring use and influence in culturally responsive approaches to evaluation: A review of the empirical literature. American Journal of Evaluation, 109821401987950. https://doi.org/10.1177/1098214019879505 Alkin, M. C., & King, J. A. (2016). The historical development of evaluation use. American Journal of Evaluation, 37(4), 568–579. https://doi.org/10.1177/1098214016665164 Alkin, M. C., & King, J. A. (2017). Definitions of evaluation use and misuse, evaluation influence, and factors affecting Use. American Journal of Evaluation, 38(3), 434–450. https://doi.org/10.1177/10982140177170 Alkin, M. C., & Taut, S. M. (2002). Unbundling evaluation use. Studies in Educational Evaluation, 29(1), 1–12. https://doi.org/10.1016/S0191-491X(03)90001-0 Bardin, L. (2016). Análise de conteúdo. Edições 70 Brasil. Baughman, S., Boyd, H. H., & Franz, N. K. (2012). Non-formal educator use of evaluation results. Evaluation and Program Planning, 35(3), 329–336. https://doi.org/10.1016/j.evalprogplan.2011.11.008 Carden, F., & Earl, S. (2007). Infusing evaluative thinking as process use: The case of the international development research centre (IDRC). New Directions for Evaluation, 2007(116), 61–73. https://doi.org/10.1002/ev.243 Cousins, J. B., & Earl, L. M. (2005). Participatory evaluation in education: Studies in evaluation use and organizational learning. Falmer Press. https://doi.org/10.1186/s12961-016-0109-0 D’Ostie-Racine, L., Dagenais, C., & Ridde, V. (2016). A qualitative case study of evaluation use in the context of a collaborative program evaluation strategy in Burkina Faso. Health Research Policy and Systems, 14(37), 1–16. Fetterman, D. (2003). Fetterman-house: A process use distinction and a theory. New Directions for Evaluation, 2003(97), 47–52. https://doi.org/10.1002/ev.74 Greene, J. (1988). Stakeholder participation and utilization in program evaluation. Evaluation Review, 12(2), 91–116. https://doi.org/10.1177/0193841X8801200201 https://doi.org/10.1177/1098214019879505 https://doi.org/10.1177/1098214016665164 https://doi.org/10.1177/10982140177170 https://doi.org/10.1016/S0191-491X(03)90001-0 https://doi.org/10.1016/j.evalprogplan.2011.11.008 https://doi.org/10.1002/ev.243 https://doi.org/10.1186/s12961-016-0109-0 https://doi.org/10.1002/ev.74 https://doi.org/10.1177/0193841X8801200201 Arquivos Analíticos de Políticas Educativas Vol. 32, No. 33 20 Hojlund, S. (2014). Evaluation use in evaluation systems - The case of the European Commission. Evaluation, 20(4), 428–446. https://doi.org/10.1177/1356389014550562 Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [INEP]. (2015b). Processo de avaliação. INEP. http://portal.inep.gov.br/processo-de-avaliacao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [INEP]. (2015a). Sinaes. INEP. http://portal.inep.gov.br/web/guest/sinaes Johnson, K., Greenseid, L. O., Toal, S. A., King, J. A., Lawrenz, F., & Volkov, B. (2009). Research on evaluation use: A review of the empirical literature from 1986 to 2005. American Journal of Evaluation, 30(3), 377–410. https://doi.org/10.1177/1098214009341660 King, J. A., & Alkin, M. C. (2019). The centrality of use: Theories of evaluation use and influence and thoughts on the first 50 years of use research. American Journal of Evaluation, 40(3), 431– 458. https://doi.org/10.1177/1098214018796328 Lawrenz, F., Huffman, D., & McGinnis, J. R. (2007). Multilevel evaluation process use in large-scale multisite evaluation. New Directions for Evaluation, 2007(116), 75–85. https://doi.org/10.1002/ev.244 Leeuw, F. L., & Furubo, J.-E. (2008). Evaluation systems: What are they and why study them? Evaluation, 14(2), 157–169. https://doi.org/10.1177/1356389007087537 Neuman, A., Shahor, N., Shina, I., Sarid, A., & Saar, Z. (2013). Evaluation utilization research— Developing a theory and putting it to use. Evaluation and Program Planning, 36(1), 64–70. https://doi.org/10.1016/j.evalprogplan.2012.06.001 Paixão, R. B., & Rodriguez, M. C. (2023). Development and preliminary validation of the evaluation use scale for evaluation systems (EUS-ES). Educational Research and Evaluation, 28(4–6), 100– 115. https://doi.org/10.1080/13803611.2023.2261904 Patton, M. Q. (1998). Discovering process use. Evaluation, 4(2), 225–233. https://doi.org/10.1177/13563899822208437 Patton, M. Q. (2020). Evaluation use theory, practice, and future research: Reflections on the Alkin and King AJE Series. American Journal of Evaluation, 109821402091949. https://doi.org/10.1177/1098214020919498 Peterman, K., & Gathings, M. J. (2019). Using a community-created multisite evaluation to promote evaluation use across a sector. Evaluation and Program Planning, 74, 54–60. https://doi.org/10.1016/j.evalprogplan.2019.02.014 Preskill, H., & Caracelli, V. (1997). Current and developing conceptions of use: Evaluation use TIG survey results. Evaluation Practice, 18(3), 209–225. https://doi.org/10.1016/S0886- 1633(97)90028-3 Preskill, H., & Torres, R. T. (2000). The learning dimension of evaluation use. New Directions for Evaluation, 2000(88), 25–37. https://doi.org/10.1002/ev.1189 Saunders, M. (2012). The use and usability of evaluation outputs: A social practice approach. Evaluation, 18(4), 421–436. https://doi.org/10.1177/1356389012459113 Shaw, J., & Campbell, R. (2014). The “process” of process use: Methods for longitudinal assessment in a multisite evaluation. American Journal of Evaluation, 35(2), 250–260. https://doi.org/10.1177/1098214013506780 Shulha, L. M., & Cousins, J. B. (1997). Evaluation use: Theory, research, and practice since 1986. Evaluation Practice, 18(3), 195–208. https://doi.org/10.1177/109821409701800302 Silva, V. J. (2022). Usos da avaliação do Sinaes na perspectiva dos coordenadores de curso da Ufba [Dissertação de Mestrado, Universidade Federal da Bahia]. https://repositorio.ufba.br/handle/ri/35735 Strauss, A., & Corbin, J. (2008). Pesquisa qualitativa: Técnicas e procedimentos para o desenvolvimento de teoria fundamentada (2nd ed.). Artmed. https://doi.org/10.1177/1356389014550562 http://portal.inep.gov.br/processo-de-avaliacao http://portal.inep.gov.br/web/guest/sinaes https://doi.org/10.1177/1098214009341660 https://doi.org/10.1177/1098214018796328 https://doi.org/10.1002/ev.244 https://doi.org/10.1177/1356389007087537 https://doi.org/10.1016/j.evalprogplan.2012.06.001 https://doi.org/10.1080/13803611.2023.2261904 https://doi.org/10.1177/13563899822208437 https://doi.org/10.1177/1098214020919498 https://doi.org/10.1016/j.evalprogplan.2019.02.014 https://doi.org/10.1016/S0886-1633(97)90028-3 https://doi.org/10.1016/S0886-1633(97)90028-3 https://doi.org/10.1002/ev.1189 https://doi.org/10.1177/1356389012459113 https://doi.org/10.1177/1098214013506780 https://doi.org/10.1177/109821409701800302 https://repositorio.ufba.br/handle/ri/35735 Os muitos usos da avaliação do Sinaes 21 Taut, S. (2007). Methodological and conceptual challenges in studying evaluation process use. Canadian Journal of Program Evaluation, 22(2), 1–19. Torres, R. T., & Preskill, H. (1999). Ethical dimensions of stakeholder participation and evaluation use. New Directions for Evaluation, 1999(82), 57–66. https://doi.org/10.1002/ev.1137 Yoo, S. H. (2010). Exploring an integrated model of governmental agency evaluation utilization in Korea: Focusing on executive agency evaluation. International Review of Public Administration, 15(1), 35–49. https://doi.org/10.1080/12294659.2010.10805165 Yusa, A., Hynie, M., & Mitchell, S. (2016). Utilization of internal evaluation results by community mental health organizations: Credibility in different forms. Evaluation and Program Planning, 54, 11–18. https://doi.org/10.1016/j.evalprogplan.2015.09.006 Sobre o Autores Vanúbia de Jesus Silva Universidade Federal da Bahia (UFBA) vanubiajs@ufba.br ORCID: https://orcid.org/0000-0002-9848-8379 Administradora, Mestre em Administração pela UFBA, atuando profissionalmente como Técnica- Administrativa na UFBA, prestando consultória técnica nos processos de avaliação de cursos de graduação vinculados ao Sistema Nacional de Avaliação da Educação Superior (Sinaes) e, também, como Auxiliar Institucional da UFBA junto ao Ministério da Educação (MEC). Roberto Brazileiro Paixão Universidade Federal da Bahia (UFBA) roberto.brazileiro@ufba.br ORCID: https://orcid.org/0000-0002-1532-3529 Professor do Núcleo de Pós-Graduação em Administração da UFBA. Doutor em Administração pela UFBA. arquivos analíticos de políticas educativas Volume 32 Número 33 2 de julho 2024 ISSN 1068-2341 Este artigo pode ser copiado, exibido, distribuido e adaptado, desde que o(s) autor(es) e Arquivos Analíticos de Políticas Educativas sejam creditados e a autoría original atribuídos, as alterações sejam identificadas e a mesma licença CC se aplique à obra derivada. Mais detalhes sobre a licença Creative Commons podem ser encontrados em https://creativecommons.org/licenses/by-sa/4.0/. Arquivos Analíticos de Políticas Educativas é publicado pela Mary Lou Fulton Teachers College, Arizona State University. Os artigos que aparecem na AAPE são indexados em CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). https://doi.org/10.1002/ev.1137 https://doi.org/10.1080/12294659.2010.10805165 https://doi.org/10.1016/j.evalprogplan.2015.09.006 mailto:vanubiajs@ufba.br https://orcid.org/0000-0002-9848-8379 mailto:roberto.brazileiro@ufba.br https://orcid.org/0000-0002-1532-3529 https://creativecommons.org/licenses/by-sa/4.0/ http://www.doaj.org/ Arquivos Analíticos de Políticas Educativas Vol. 32, No. 33 22 Sobre o Conselho Editorial: https://epaa.asu.edu/index.php/epaa/about/editorialTeam Para erros e sugestões, entre em contato com Fischman@asu.edu https://epaa.asu.edu/index.php/epaa/about/editorialTeam https://epaa.asu.edu/index.php/epaa/about/editorialTeam