Implicações do Sistema de Classificação de Periódicos Qualis em Práticas de Publicação no Brasil entre 2007 e 2016 Página web: http://epaa.asu.edu/ojs/ Artigo recebido: 18/11/2018 Facebook: /EPAAA Revisões recebidas: 1/7/2019 Twitter: @epaa_aape Aceito: 29/8/2019 arquivos analíticos de políticas educativas Revista acadêmica, avaliada por pares, independente, de acesso aberto, e multilíngüe Arizona State University Volume 28 Número 25 17 de fevereiro de 2020 ISSN 1068-2341 Implicações do Sistema de Classificação de Periódicos Qualis em Práticas de Publicação no Brasil entre 2007 e 2016 Alause Da Silva Pires Eliseo Berni Reategui Ana Cristina Xavier França Universidade Federal do Rio Grande do Sul – UFRGS Brasil & Eric Bettinger Stanford University Estados Unidos & Sérgio Roberto Kieling Franco Universidade Federal do Rio Grande do Sul - UFRGS Brasil Citação: Pires, A. S., Reategui, E., França, A. C. X, Bettinger, E., & Franco, S. R. K. (2020). Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016. Arquivos Analíticos de Políticas Educativas, 28(25). https://doi.org/10.14507/epaa.28.4353 Resumo: O sistema de classificação de periódicos Qualis tem sido utilizado como indicador da qualidade das pesquisas desenvolvidas no Brasil, configurando uma importante engrenagem dos http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.28.4353 Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 2 mecanismos de avaliação da produção científica e distribuição de recursos no país. Nesse viés, esse artigo busca mostrar a forma como o sistema de classificação Qualis, não exaustivo e publicado anualmente, tem induzido a produção científica dos programas de pós -graduação brasileiros, após duas décadas de sua implantação pela CAPES. Para tanto, observou -se a frequência de publicações em periódicos que constavam no sistema Qualis entre 2007 e 2 016, para oito diferentes áreas de avaliação. A partir da utilização do indicador SJR fornecido pela Scopus, o impacto internacional dos periódicos mais frequentes naquele período foi verificado, bem como a concentração de artigos entre os mesmos. Os resul tados evidenciam que o Qualis direcionou a publicação de artigos para um número restrito de periódicos e que essa produção se concentrou naqueles de mais baixo fator de impacto dentre o restrito conjunto de veículos mais utilizados para publicação. A análise de dados permitiu observar o direcionamento dos esforços, por parte dos pesquisadores, para publicar em periódicos que trazem maior pontuação no sistema, independente do tipo de visibilidade proporcionada pelo veículo do ponto de vista nacional e internacional. Palavras-chave: Pós-graduação; produção científica; sistema Qualis; indicadores bibliométricos; SJR; impacto internacional; Brasil The implications of the Qualis journal classification in publication practices in Brazil between 2007 and 2016 Abstract: The journal classification system known as Qualis has been used as an indicator of the quality of research carried out in Brazil, as it is an important part of the mechanisms of scientific production evaluation and resource distribution in the countr y. In this context, this article intends to show how the Qualis classification system, a non -exhaustive list published annually, has induced the scientific production of Brazilian graduate programs, after two decades of its implementation by CAPES. To do that, the frequency of publications in journals that were in the Qualis system between 2007 and 2016 has been observed in eight different evaluation areas. Using the SJR index provided by Scopus, the international impact of the most frequent journals in that period was determined, as well as the concentration of articles in these same journals. Results showed that the Qualis system has directed the publication of articles in a restricted number of journals, a scientific production that was concentrated mostl y in the journals with lower impact factor among the ones that composed the list. The data analysis showed that researchers have been concentrating efforts to publish in journals that bring higher number of points in the Qualis system, regardless of the visibility of these journals from a national or international point of view. Keywords: Graduate; scientific production; Qualis system; bibliometric indicators; SJR; international impact; Brazil Implicaciones del sistema de clasificación de la revista Qualis en las prácticas editoriales en Brasil entre 2007 y 2016 Resumen: El sistema de clasificación de revistas Qualis se ha utilizado como un indicador de la calidad de la investigación realizada en Brasil, constituyendo un mecanismo importante para los la evaluación de la producción científica y la distribución de recursos en el país. En este sentido, este artículo busca mostrar cómo el sistema no exhaustivo de clasificación Qualis, publicado anualmente, ha inducido la producción científica de los programas de posgrado brasileños, después de dos décadas de su implementación por parte de CAPES. Con este fin, observamos la frecuencia de publicaciones en revistas del sistema Qualis entre 2007 y 2016, para ocho áreas diferentes de evaluación. A partir del uso del indicador SJR de la base Scopus, se verificó el impacto internacional de las revistas más frecuentes en ese período, así como la concentración Arquivos Analíticos de Políticas Educativas Vol. 28, No. 25 3 de artículos entre ellas. Los resultados muestran que Qualis dirigió la publicación de artículos a un número limitado de revistas y que esta producción se concentró en aquellos con el factor de impacto más bajo entre el conjunto de vehículos más utilizados para publicación. El análisis de datos permitió observar la dirección de los esfuerzos de los investigadores para publicar en revistas que aporten la puntuación más alta en el sistema, independientemente del tipo de visibilidad que proporciona el vehículo desde un punto de vista nacional y internacional. Palabras-clave: Posgrado; producción científica; Sistema Qualis; indicadores bibliométricos; SJR; impacto internacional; Brasil Introdução A avaliação do ensino superior no Brasil, seguindo uma tendência internacional, tornou-se um dos eixos centrais da política educacional (Goergen, 2010), sendo desenvolvidos nesse contexto o Sistema Nacional da Educação Superior (SINAES) e o Sistema de Avaliação da Pós-Graduação e Pesquisa. Este artigo traz como enfoque o último sistema, mais especificamente a avaliação da pesquisa dos programas de pós-graduação1. Em vários países, principalmente da Europa, exercícios nacionais de avaliação foram introduzidos buscando qualificar a pesquisa nas universidades, tornando-os o principal componente no processo decisório para destinação de financiamento (Geuna & Martin, 2003; Rebora & Turri, 2013). Com relação ao Brasil, esse cenário não é muito diferente. Uma de suas principais instituições de fomento à pesquisa é a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), fundação ligada ao Ministério da Educação. Essa instituição é responsável pela avaliação de todos os programas de pós-graduação, promovendo e estimulando esse nível de ensino e a pesquisa no país. Desse modo, uma vez que a produção científica brasileira ocorre principalmente dentro dos programas de pós-graduação nas universidades (Coutinho et al., 2012), a CAPES avalia essa produção de forma a permitir a diferenciação desses programas, assim adequando o direcionamento de fundos. Nesse sentido, a CAPES criou em 1998 um sistema de classificação de periódicos denominado Qualis, no qual são enquadrados os artigos publicados pelos docentes e discentes dos programas de pós-graduação. A avaliação de cada periódico é feita com base em sua qualidade percebida, servindo como um indicador indireto da qualidade dos artigos nele publicados. Os resultados desse tipo de análise têm sido frequentemente utilizados para avaliar a produtividade das instituições de pesquisa (Donohue & Fox, 2000). No Brasil, De Oliveira e Amaral (2017) destacam que 81% das áreas de avaliação se utilizam do indicador Fator de Impacto obtido a partir da base de dados Web of Science para avaliar os periódicos. Além disso, também são utilizados indicadores qualitativos tais como: a presença do periódico em outras bases indexadoras relevantes para a área; a existência de editor responsável e conselho editorial; a existência do Número Internacional Normalizado para Publicações Seriadas (ISSN); afiliação institucional de autores; idioma de publicação; formas de divulgação e periodicidade. Com relação ao Qualis, cada uma das áreas de avaliação da CAPES, atualmente 49, elabora anualmente a sua própria lista Qualis com base em critérios por elas definidos e aprovados pelo Conselho Técnico Científico da Educação Superior (CTC-ES). Dessa forma, um mesmo periódico pode ter diferentes classificações em diferentes áreas. Nessa lista, os periódicos são classificados em estratos indicativos de qualidade, em que A1 é o estrato mais alto sendo seguido por A2, B1, B2, B3, B4, B5, além de um estrato C com peso zero. Também, ressalta-se que apenas os periódicos que 1 O presente trabalho foi realizado com apoio do Lemann Center – Stanford University e da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – Brasil (CAPES) – Código de Financiamento 001. Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 4 tiveram ao menos uma publicação por parte dos programas de pós-graduação num certo período são classificados, não sendo essa lista, portanto, exaustiva (Barata, 2016). Além disso, estabelece-se que apenas os periódicos de alta qualidade devem ser classificados nos estratos superiores A1 e A2 (Verhine & Dantas, 2012). Quanto aos critérios adotados na classificação Qualis, em todas as áreas predomina o mecanismo de revisão por pares e a utilização ou não de indicadores bibliométricos fica a cargo de cada área de avaliação. Essas abordagens qualitativa e quantitativa apresentam papel dominante e influente nos processos de avaliação de pesquisa no mundo, sendo constantemente comparadas e confrontadas na literatura internacional (Abramo & D'Angelo, 2011; Belter, 2015; Codina, 2016; Gingras, 2001). Nessa perspectiva, esse sistema, adotado há 20 anos no Brasil, consolidou-se como uma importante ferramenta de avaliação de produção científica do país, usada não apenas no processo de avaliação dos programas de pós-graduação, mas também como um indicador nacional de qualidade da pesquisa por outras agências e instituições de fomento (Oliveira & Amaral, 2017). A esse respeito, Barata (2016) coloca que o Qualis foi criado como uma ferramenta para comparar os programas de pós-graduação dentro de uma mesma área do conhecimento. Porém, ele tem sido usado com outras finalidades consideradas inapropriadas pela autora, como por exemplo: por editores de revistas científicas para obtenção de financiamentos e pelas agências para aprová-los; na avaliação de pesquisadores por instituições nacionais que financiam a pesquisa e também pelas universidades ou departamentos de pesquisa para avaliação de seus professores e pesquisadores. Pode-se ainda destacar a utilização dessa lista por docentes e discentes como parâmetro na seleção de periódicos para publicação de seus resultados de pesquisa. Neste contexto, foi definido o problema de pesquisa deste estudo: Como o sistema de classificação Qualis influenciou a veiculação da produção científica brasileira no período compreendido entre 2007 e 2016? A partir deste problema de pesquisa, foi definido o objetivo geral do estudo: Analisar como o sistema de classificação Qualis influenciou a veiculação da produção científica brasileira para as 8 maiores áreas de cada grande área de conhecimento, no período compreendido entre 2007 e 2016. Para realizar a pesquisa, foram coletadas informações dos bancos de dados da CAPES referentes a 3 períodos de avaliação: 2007-2009, 2010-2012, 2013-2016. A partir da análise destas informações, buscou-se validar a hipótese de que a lista Qualis induz a concentração da produção científica nacional em um número restrito de periódicos, em especial naqueles de mais baixo impacto, considerando-se indicadores bibliométricos de base indexadora internacional. Tal investigação torna-se relevante na medida em que o sistema de classificação Qualis extrapola a dimensão da avaliação dos programas de pós-graduação e pode influenciar a forma como a comunidade científica brasileira tem selecionado os veículos para divulgar os resultados de sua produção científica. Também cabe destacar a relevância do estudo em um momento em que a própria CAPES busca alternativas para implementar mudanças no sistema de avaliação dos programas de pós-graduação, incluindo nestas mudanças as formas de avaliação da produção científica nacional. Inserção do Qualis no Âmbito dos Planos Nacionais de Pós-Graduação Os Planos Nacionais de Pós-Graduação (PNPGs) são um conjunto de políticas públicas voltadas para a pós-graduação, criados no Brasil a partir de 1974, com o objetivo de guiar as ações nesse setor e assim ampliar e melhorar o Sistema Nacional de Pós-Graduação (SNPG). O Qualis surge no contexto do IV PNPG. Embora esse plano não tenha sido oficialmente publicado pela Arquivos Analíticos de Políticas Educativas Vol. 28, No. 25 5 CAPES, várias recomendações que subsidiaram as discussões deste foram implantadas pela instituição. Dentre essas recomendações estão a expansão do sistema, a diversificação do modelo de pós-graduac ̧ão, mudanças no processo de avaliação e a inserção internacional da pós-graduaça ̃o (Brasil, 2004; Ferreira & Moreira, 2002). Dessa maneira, pode-se afirmar que o Qualis aparece em um período em que todo o sistema de avaliação da pós-graduação passa por reformulações com o objetivo de aumentar a inserção internacional dos programas em termos de produção de conhecimento científico, mudando assim o foco das políticas da esfera do ensino para pesquisa e produção de conhecimento (Kuenzer & Moraes, 2005). Nessa direção, observa-se a necessidade de introduzir indicadores capazes de distinguir os programas de pós-graduação, estimulando então a competição entre eles (Hostins, 2006). Assim, o primeiro Qualis buscava classificar os periódicos segundo a sua circulação em nível Internacional, Nacional e Local. Dentro de cada uma dessas categorias, os periódicos eram classificados nos estratos A, B ou C, de acordo com a sua relevância para uma determinada área do conhecimento (Barata, 2016). Essa estrutura do Qualis vigorou até 2007, dando lugar em 2008 a um novo arranjo, organizado em 8 categorias, já descritas anteriormente. A nova estrutura Qualis, que perdura até hoje, surge na vigência do V PNPG, no qual há um grande enfoque nos resultados e produtos. A partir deste plano, ‘Corpo Docente” e “Produção Intelectual” dos programas passam a ser os dois quesitos centrais no processo de avaliação (Brasil, 2004). Além disso, apesar do plano determinar que outros produtos deveriam ser considerados na avaliação, tais como livros, patentes e tecnologias, o processo de avaliação continuou fortemente centrado na análise da produção intelectual publicada em periódicos científicos. No que concerne ao atual VI PNPG, este reconhece mais uma vez a importância da revisão por pares como garantia de qualidade do processo de avaliação. Por outro lado, não descarta a necessidade de se introduzir novos parâmetros e procedimentos com o objetivo de melhorar o sistema e corrigir distorções. Dentre essas distorções, esse plano destaca aquelas induzidas pelo tradicionalismo de alguns grupos, junto com a acomodação dos programas; e outras que levam ao produtivismo e à primazia da quantidade (Brasil, 2010). Quanto aos indicadores de produção, o plano coloca que esses não devem se limitar a levantamentos quantitativos e a sua indexação. Nesse sentido, é possível observar uma avaliação de qualidade da produção centrada principalmente na decisão de pares, ficando a critério destes e de cada área de avaliação utilizar ou não as bases indexadoras, bem como os seus indicadores. Esse aspecto, por sua vez, torna a avaliação menos objetiva e, portanto, mais propensa a perpetuar as distorções já identificadas no atual sistema. Diante disso, é importante avaliar como o sistema de classificação Qualis tem influenciado a veiculação da produção científica brasileira. Revisão por Pares e Indicadores Bibliométricos Os principais critérios para avaliar a produção científica combinam, de diferentes formas, a revisão por pares e indicadores bibliométricos. A revisão por pares é uma sistemática de avaliação quase onipresente em todos os sistemas de avaliação da ciência, principalmente quando o assunto é alocação de financiamento. Por outro lado, há muitas ressalvas relacionadas à confiabilidade e validade dessas revisões (Bedeian, 2003; Gans & Shepherd, 1994; Reale, Barbara & Costantini, 2007). Seu princípio reside na avaliação, por especialistas num determinado domínio do conhecimento, da qualidade do trabalho científico realizado por pares. A estrutura dessa revisão busca incentivar a imparcialidade da análise, que envolve o uso de “terceiros”, sendo este um especialista não afiliado diretamente à entidade revisora e também não estreitamente associado à pessoa, unidade ou instituição que está sendo avaliada (Lee et al., 2013). Nesse sentido, as críticas a Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 6 essa sistemática geralmente surgem quando há uma violação dessa imparcialidade, promovendo dessa forma um viés no direcionamento de recursos (Day, 2015; Gallo, Sullivan & Glisson, 2016). Os indicadores bibliométricos, por sua vez, são ferramentas amplamente utilizadas na avaliação da produção científica. Estes surgem a partir de uma pressão por evidências quantitativas para se medir o sucesso e o impacto de uma pesquisa (Hicks, 2012). Na academia, esses indicadores geralmente desempenham um papel essencial na alocação de verbas e bolsas, nas políticas de incentivo à pesquisa e em decisões de contratação e promoção de pesquisadores (Génova, Astudillo & Fraga, 2016; Hirsch, 2005; Li et al., 2017). Eles são construídos a partir de informações disponíveis em grandes bases de dados, sendo que por muitas décadas a Web of Science foi a base que monopolizou o cenário, surgindo posteriormente outras grandes bases como a Scopus e o Google Acadêmico (Bakkalbasi et al. 2006; Meho & Yang, 2007; Martín-Martín, Orduna-Malea & López- Cózar, 2018). O primeiro desses indicadores, o mais utilizado durante vários anos e também o mais criticado na atualidade, é o Fator de Impacto (FI), fornecido pela Web of Science. Ele é calculado anualmente para cada revista científica com base no número médio de vezes que seus artigos foram referenciados em outros artigos levando em conta os dois últimos anos. Ele surgiu com o propósito de selecionar revistas para coleções bibliotecárias, sob a suposição de que as revistas mais citadas seriam também as mais úteis para os investigadores. Logo após o seu surgimento, o FI ganhou outras dimensões, dominando o cenário de avaliação científica. Neste período já surgem críticas relacionadas a sua metodologia e ao seu uso indiscriminado em processos avaliativos, principalmente na avaliação de desempenho de pesquisadores, fato este reconhecido por seu próprio criador Eugene Garfield (Bordons, Fernández & Gómez, 2002; Garfield, 1998 Seglen, 1997; Simons, 2008; Vanclay, 2012). Nesse viés, tendo em vista a necessidade de criar instrumentos mais confiáveis, justos e inclusivos para avaliar o desempenho da pesquisa, os indicadores bibliométricos se multiplicaram nos últimos anos. Com isso, surgem indicadores de impacto que consideram não apenas o número bruto de citações recebidas por um pesquisador ou um periódico, como ocorre para o FI, mas também a importância ou influência dos agentes que fazem essas citações (Bergstrom, 2007; Bollen, Rodri ́guez & Van de Sompel, 2006; Ma, Guan & Zhao, 2008; Palacios-Huerta & Volij, 2004). Dentre esses indicadores, pode-se destacar o indicador SCImago Journal Rank (SJR) criado a partir dos dados da Scopus por meio da aplicação do algoritmo PageRank, o mesmo utilizado nos sistemas de busca do Google. O SJR é um indicador baseado na transferência de prestígio de uma revista para outra, por meio das referências que uma revista faz a outras e a ela mesma. O seu cálculo considera os artigos publicados nos três anos anteriores, tempo esse amplo o suficiente para incluir a maioria das citações, e dinâmico o suficiente para medir a evolução dos periódicos científicos (Falagas, 2008; González-Pereira, Guerrero-Bote & Moya-Anegón, 2010; Van Noorden, 2010). Entre as vantagens desse indicador estão: o fato de ele permitir a estimativa do prestígio de um periódico sem a influência de autocitações, uma vez que o prestígio pode ser transferido para um periódico por todos os outros periódicos, mas não por si mesmo; acesso irrestrito; a inclusão de um maior número de periódicos e idiomas em seu banco de dados (Falagas, 2008). Por outro lado, essa multiplicação de indicadores leva a reações mais fortes e frequentes quanto a sua utilização, em especial na avaliação do desempenho e produção de um pesquisador, culminando em importantes documentos como a Declaração de San Francisco (DORA, 2012), Manifesto de Leiden (Hicks et al., 2015) e The Metric Tides (Wilsdon et al., 2015). Em síntese, esses documentos dão maior peso às avaliações por pares e chamam atenção para o uso indiscriminado desses indicadores, em função de suas limitações. Arquivos Analíticos de Políticas Educativas Vol. 28, No. 25 7 Dessa forma, fica evidente que ainda não há métodos de avaliação robustos, eficientes e sem viés, capazes de avaliar não apenas o impacto de uma pesquisa, mas também de sua qualidade. Nesse sentido, tanto a revisão por pares quanto o uso de indicadores bibliométricos continuam sendo ferramentas de extrema importância no processo de avaliação dos resultados de uma pesquisa. Nessa perspectiva, uma vez que o Qualis utiliza ambos os métodos de avaliação, torna-se fundamental compreender como o sistema tem influenciado a veiculação da produção científica brasileira. Métodos Esta pesquisa foi desenvolvida a partir de análises quantitativas realizadas com base em dados obtidos do banco de dados da CAPES, denominado Coleta Capes. O estudo longitudinal do Qualis foi realizado para as 8 maiores áreas de cada grande área de conhecimento2, considerando áreas com pelo menos 10 anos de existência. A grande área Multidisciplinar, devido a sua diversidade de campos temáticos, foi excluída do estudo. As áreas selecionadas foram: Ciências Agrárias I, Ciências Biológicas II e Medicina II, representando o Colégio de Ciências da vida; Ciência da Computação e Engenharias III, do Colégio de Ciências Exatas, Tecnológicas e Multidisciplinar; Educação, Administração e Letras e Linguística, do Colégio de Humanidades. O intervalo considerado no estudo foi de 10 anos (2007-2016), período que englobou três avaliações periódicas. Essas avaliações foram a Avaliação Trienal 2010, referente aos anos 2007-2009, a Avaliação Trienal 2013, anos 2010-2012 e a Avaliação Quadrienal 2017, anos 2013-2016, referidas nesse estudo como primeiro (1º), segundo (2º) e terceiro (3º) períodos, respectivamente. O conjunto de dados do Qualis foi organizado em 3 listas por área, uma para cada período de avaliação. Cada uma dessas listas foi elaborada da seguinte maneira: • Consideraram-se apenas os periódicos que tiveram ao menos uma produção declarada pelos programas de pós-graduação em algum dos anos que compõem o período. Neste contexto, foi sempre utilizada a última classificação Qualis recebida pelo periódico naquele intervalo de tempo; • Todos os periódicos classificados como C foram excluídos das análises; • A quantidade de artigos para um mesmo periódico foi obtida a partir da soma dos artigos nele declarados em cada um dos anos que constituem o período. A primeira exploração desses dados consistiu em verificar as taxas de crescimento tanto do número de periódicos quanto de artigos neles publicados. Em seguida, procurou-se identificar aqueles periódicos classificados em pelos menos dois períodos avaliativos consecutivos, distinguindo dentre esses, aqueles mais utilizados pela comunidade acadêmica para divulgação da sua pesquisa. Uma vez reconhecidos, analisou-se o impacto desses periódicos. Para tanto, buscou-se um indicador bibliométrico que permitisse considerar um número maior de periódicos, tendo em vista os diferentes campos do conhecimento. Dentre as bases de dados mais utilizadas para a investigação bibliométrica, a Scopus é uma das mais importantes referências no mundo (González-Pereira, Guerrero-Bote & Moya-Anegón, 2010). Como seus dados são públicos, ela foi a base que melhor se enquadrou no critério estabelecido, sendo o SCImago Journal Rank (SJR) o indicador assim escolhido para a análise. O SJR referente aos períodos 2010, 2013 e 2016 foi obtido para cada periódico a partir de seu Número Internacional Normalizado para Publicações Seriadas (ISSN). Segundo a presença ou não desse indicador, calculou-se o quantitativo de periódicos indexados e não indexados naquela base. A partir 2As áreas de avaliação da CAPES estão distribuídas em 3 Colégios e 9 Grandes Áreas que podem ser visualizadas por meio do endereço: http://www.capes.gov.br/avaliacao/sobre-as-areas-de-avaliacao. Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 8 dessa verificação, dois grupos foram comparados levando em conta os valores de SJR. Um grupo consistiu apenas dos periódicos indexados e outro grupo levou em consideração não apenas os periódicos, mas também a frequência de artigos em cada um deles. Para a análise estatística desses dados, utilizou-se o software STATA, versão 15.0. As medianas dos valores de SJR, considerando-se os dois grupos citados anteriormente e os diferentes períodos de avaliação, foram comparadas aplicando-se o teste não-paramétrico de Mann-Whitney. Resultados e Discussão A partir do levantamento dos periódicos utilizados pela comunidade acadêmica ao longo dos 10 últimos anos, observaram-se na tabela 1 taxas de crescimento positivas tanto no que diz respeito ao número de periódicos (TCP) quanto ao número de artigos publicados neles mesmos (TCA). O aumento de periódicos entre o 1º e 2º períodos (TCP1,2) foi maior que entre o 2º e 3º períodos avaliativos (TCP2,3), indicando uma redução na diversificação de periódicos entre os dois últimos períodos quando comparado aos dois primeiros. Com relação ao número de artigos, observa-se uma taxa de crescimento contínua, sendo esta maior entre os 2º e 3º períodos (TCA2,3) quando comparada àquela entre os 1º e 2º períodos (TCA1,2). Ambas as taxas demonstram um aumento da produção científica brasileira entre 2007 e 2016, sendo que, conforme Almeida & Guimarães (2013), esse aumento já vinha ocorrendo há mais de uma década a uma taxa média de 10,7% por ano, colocando o Brasil na 13ª posição no ranking dos países com maior número de publicações no mundo em 2013. Esse aumento da produção científica também está atrelado a um forte financiamento na qualificação de pessoal a partir dos anos 1980, o que levou a um grande crescimento do número de cursos de mestrados e doutorados no país. Presume-se que, quanto maior o número de cientistas qualificados, maior a chance de aumento do número de publicações no exterior, elevando assim os indicadores de produtividade do país (Leta et al., 2012). Tabela 1 Taxas de crescimento de periódicos e de artigos nesses periódicos entre o 1º e 2º períodos e entre o 2º e 3º períodos avaliativos Área TCP1,2 TCP2,3 TCA1,2 TCA2,3 Ciências Agrárias I 103.0% 79.8% 48.9% 104.3% Ciências Biológicas II 68.0% 60.3% 41.9% 96.4% Medicina II 60.8% 39.2% 19.7% 68.1% Ciência da Computação 109.1% 80.4% 116.5% 158.1% Engenharias III 101.1% 43.8% 109.5% 105.5% Educação 104.6% 49.6% 83.9% 149.2% Administração 216.7% 100.4% 147.4% 207.6% Letras e Linguística 56.0% 36.7% 78.0% 127.4% Nota. TCP1,2 e TCP2,3 - Taxas de crescimento de periódicos, respectivamente, entre o 1º e 2º e entre o 2º e o 3º períodos avaliativos TCA1,2 e TCA2,3 - Taxas de crescimento de artigos, respectivamente, entre o 1º e 2º e entre o 2º e o 3º períodos avaliativos Uma vez observado esse aumento da produção científica brasileira, buscou-se compreender como a lista Qualis, dentro da política de pós-graduação, pode ter influenciado a veiculação desta produção. Nessa direção, estudos colocam que o significado e a influência das listas de periódicos aumentam à medida que a competição entre as instituições por recursos se intensifica. Além do mais, essas listas se tornam influentes para processos de recrutamento, promoção e seleção de Arquivos Analíticos de Políticas Educativas Vol. 28, No. 25 9 pessoal ou produtos de pesquisa para submissão em processos avaliativos, moldando assim a natureza, estrutura e condições dos trabalhos acadêmicos (Espeland & Sauder, 2007; Sauder & Espeland, 2009). Para tanto, procurou-se identificar os periódicos comuns aos diferentes períodos avaliativos, tendo em vista que essa lista é usada como referência de periódicos para a publicação de artigos em períodos subsequentes. A partir da tabela 2, verifica-se que os periódicos comuns a pelo menos dois períodos consecutivos (PC1,2, PC2,3 e PC1,2,3) representam menos de 50% do total de periódicos (TP) em todas as áreas. Ressalta-se que esses 3 conjuntos de periódicos comuns são exclusivos, ou seja, cada periódico pertence unicamente a um desses conjuntos. Assim, os periódicos comuns aos 1º e 2º períodos (PC1,2) são os que apareceram unicamente nos dois primeiros períodos avaliativos e, portanto, não foram mais utilizados pela comunidade acadêmica em períodos subsequentes. Esse fato não permite averiguar a partir desse conjunto possíveis implicações da lista Qualis no perfil de publicação pela comunidade acadêmica, como proposto. Dessa maneira, para essa verificação, a concentração de artigos foi avaliada apenas para os conjuntos de periódicos comuns aos 2º e 3º períodos (PC2,3) e aos 1º, 2º e 3º períodos (PC1,2,3). Essa avaliação foi feita em relação a cada um dos períodos, assim para os periódicos comuns aos 2º e 3º períodos, essa concentração está representada, respectivamente, por APC2,3/AP2 e APC2,3/AP3. Para os periódicos comuns aos 1º, 2º e 3º períodos, respectivamente, por APC1,2,3/AP1; APC1,2,3/AP2 e APC1,2,3/AP3. A partir desses valores apresentados na tabela 2, percebe-se que esses dois conjuntos de periódicos comuns concentraram juntos mais de 75% de toda a produção científica em todos os períodos e áreas de avaliação. Ainda, com relação a esses dois grupos, para a maioria das áreas observa-se uma diminuição da concentração de artigos no conjunto composto pelos periódicos comuns aos 3 períodos, o que é acompanhado por um aumento dessa concentração no conjunto de periódicos comuns aos 2 últimos períodos. Desse modo, pode-se concluir que a redução na taxa de diversificação de periódicos, anteriormente demonstrada na tabela 1, ocorre concomitante ao aumento da concentração da produção em periódicos já classificados anteriormente na lista Qualis. Até certo ponto, o resultado obtido apresenta alguma relação com a Lei de Bradford em que, apesar da existência de um grande número de periódicos, as informações científicas se concentram em uma minoria de veículos que publicam a maioria dos artigos (Bradford, 1934). Além disso, outros trabalhos demonstram que, apesar da existência de um grande número de periódicos, os trabalhos mais influentes estão concentrados em poucos veículos, especialmente em campos do conhecimento com alta densidade de citação (Ioannidis, 2006). Dessa maneira, verificar essa influência passa por uma análise de impacto dessa produção. Para realizar essa análise de impacto, decidiu-se por avaliar apenas os periódicos comuns aos 1º, 2º e 3º períodos, já que estes concentram ainda ao final do último período avaliativo mais de 50% de toda produção, exceto nas áreas de Administração e Educação. Para tanto verificou-se inicialmente a porcentagem desses periódicos indexados (PCI1,2,3) e não indexados (PCNI1,2,3) na base de dados da Scopus no ano de 2016 (Tabela 3). A Scopus, além de ser a maior base multidisciplinar usada para análises bibliométricas, em 2008 incorporou 700 periódicos de caráter nacional, entre os quais 11% são editados pela América Latina e Caribe (Leydesdorff & Wagner, 2009). Além disto, um estudo realizado em 2010 demonstra que a Scopus indexa 5,6 mais revistas editadas na América Latina e Caribe quando comparada a Web of Science, além de indexar mais títulos na língua espanhola e portuguesa. Os mesmos autores identificaram a existência de 175 revistas brasileiras a mais na Scopus quando comparada à Web of Science (Santa & Herrero-Solana, 2010). Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 10 Tabela 2 Número de periódicos comuns aos diferentes períodos avaliativos e a proporção de artigos neles publicados Área TP PC1,2 PC2,3 PC1,2,3 APC1,2,3 /AP1 APC1,2,3/AP2 APC1,2,3 /AP3 APC2,3/AP2 APC2,3 /AP3 Ciências Agrárias I 3966 117 811 687 89.4% 80.2% 64.5% 12.2% 22.7% Ciências Biológicas II 3609 143 646 824 87.4% 71.0% 63.4% 19.3% 17.3% Medicina II 5598 310 900 1325 84.2% 75.7% 65.6% 12.0% 17.7% Ciência da Computação 1715 138 261 250 72.9% 54.2% 54.0% 25.1% 21.8% Engenharias III 4070 182 644 586 71.4% 50.8% 54.1% 19.6% 23.4% Educação 3103 158 509 445 79.6% 64.1% 46.2% 19.8% 34.1% Administração 3381 76 611 256 81.8% 52.1% 33.3% 31.8% 47.3% Letras e Linguística 2732 195 408 367 68.9% 62.0% 54.2% 20.2% 31.6% Nota. TP - Total de periódicos classificados entre 2007 e 2016; PC1,2, PC1,2,3, PC1,2,3 - Número de periódicos comuns, respectivamente, ao 1º e 2º; 2º e 3º e 1º, 2º e 3º períodos; APC 1,2,3/AP1 - Proporção de artigos publicados nos periódicos comuns aos 3 períodos em relação ao número de artigos no 1º período; APC 1,2,3/AP2 - Proporção de artigos publicados nos periódicos comuns aos 3 períodos em relação ao número de artigos no 2º período; APC1,2,3/AP3 - Proporção de artigos publicados nos periódicos comuns aos 3 períodos em relação ao número de artigos no 3º período. APC2,3/AP2 - Proporção de artigos publicados nos periódicos comuns aos períodos 2 e 3 em relação ao número de artigos no 2º período; APC2,3/AP3 - Proporção de artigos publicados nos periódicos comuns aos períodos 2 e 3 em relação ao número de artigos no 3º período. A partir da tabela 3, constata-se que nas áreas de Letras e Linguística, Administração e Educação, a maior parte dos periódicos comuns aos 3 períodos não estavam indexados na Scopus, sendo que para Letras e Linguística esse fenômeno é ainda mais intenso. Esse fato evidencia uma alta produção com menor visibilidade internacional nessas áreas, possivelmente com um número grande de artigos publicados em língua portuguesa. Em alguns países, a presença de publicações na Scopus e Web of Science tem se tornado um critério cada vez mais comum em processos de avaliação nas áreas de ciências sociais e humanidades, sendo essas produções geralmente tratadas separadamente como indicadores de “internacionalização” e “qualidade da pesquisa”. Em outros países, há uma crença geral de que a qualidade da pesquisa pode ser promovida nessas áreas por meio de mais publicações em um número restrito de periódicos internacionais selecionados para indexação (Sivertsen, 2016). No Brasil, há um esforço em internacionalizar os periódicos brasileiros, particularmente na publicação de pesquisa em colaboração internacional. Este mostrou-se um importante caminho para aumentar o impacto dos periódicos brasileiros, com ênfase nos títulos que já adquiriram visibilidade internacional (Packer, A. L., 2011). Outro critério é a adoção do inglês como língua padrão, objetivando promover a circulação internacional do conhecimento e unificar um campo científico global. Por um lado, a publicação nesses periódicos é importante por desencadear discussões críticas entre especialistas, além de confrontar e inspirar padrões acadêmicos de pesquisa (Heilbron et. al., 2017; Sapiro & Seiler- Arquivos Analíticos de Políticas Educativas Vol. 28, No. 25 11 Juilleret, 2016). Por outro lado, a comunicação em inglês principalmente em periódicos internacionais pode representar uma perda da "razão de ser" de muitos estudos com temáticas nacionais e regionais, aspecto que abre espaço para novas discussões e pesquisas. Além disso, embora as análises bibliométricas a partir de bases como Scopus e Web of Science sejam muito utilizadas para avaliar o mérito de publicações científicas, as áreas de humanidades e ciências sociais apresentam forte oposição a esse uso. Dentre os fatores relacionados a essa resistência estão: as diferentes práticas de publicação dessas áreas e os diversos canais de publicação além de artigos, como livros, capítulos de livros e monografias; limitações das próprias bases de dados e orientação regional ou local das pesquisas realizadas, na sua maioria publicadas na língua nacional. Com relação à questão da língua, ainda se coloca o fato de que algumas disciplinas, como Letras e Linguística, estudam a própria linguagem e publicam sobre ela, sendo essa publicação, portanto, na língua nacional (Fry et al., 2009; Hicks, 2004; Nederhof 2006). Além do mais, mesmo considerando todos os periódicos classificados entre 2007 e 2016 (TP), as áreas de ciências sociais e humanidades apresentam baixos indicadores de internacionalização da sua produção aferida a partir da indexação na Scopus (TPI). É possível ressaltar também que os periódicos comuns aos 3 períodos e indexados representam em torno de 20% do total de periódicos em cada área ao término do ano de 2016. Após verificar como esses periódicos comuns aos 3 períodos estão indexados na Scopus e, tendo em vista a alta concentração de artigos nesses periódicos, buscou-se identificar o impacto desta produção. Para essa análise comparou-se a distribuição do SJR entre esses periódicos levando em conta ou não a frequência de artigos (fA) nestes periódicos (Tabela 4). Os valores de SJR para cada área e em cada período de avaliação estão representados, respectivamente, por SJR1, SJR2 e SJR3. As áreas de Ciências Biológicas II, Medicina II e Ciências Agrárias I são as que possuem maiores valores de SJR máximo (Max), sendo seguidas pelas áreas de Engenharias III e Ciências da Computação e por último pelas áreas de Educação, Administração e Letras e Linguística. Essas diferenças observadas entre os valores máximos de SJR estão relacionadas aos diferentes perfis de citações entre os campos do conhecimento e disciplinas, apresentando número médio de citações por publicação bem diferentes, fato esse bastante explorado na literatura (Braun, Glänzel & Grupp, 1985; Bornmann & Daniel, 2008; Egghe & Rousseau, 1990; Hurt, 1987; Nederhof, 2006; Radicchi, Fortunado & Caetano, 2008). Tabela 3 Porcentagem de periódicos comuns aos 3 períodos avaliativos indexados e não indexados na Scopus no ano de 2016 Área PCI1,2,3 PCNI1,2,3 TPI Ciências Agrárias I 74.3% 25.7% 56.8% Ciências Biológicas II 99.2% 1.1% 91.1% Medicina II 89.7% 10.3% 71.1% Ciência da Computação 92.8% 7.2% 80.2% Engenharias III 80.2% 19.8% 60.0% Educação 19.1% 80.9% 20.5% Administração 40.6% 59.4% 35.4% Letras e Linguística 9.3% 90.7% 14.2% Nota. PCI1,2,3 - Porcentagem de periódicos comuns aos 3 períodos avaliativos - Indexados na Scopus PCNI1,2,3 - Porcentagem de periódicos comuns aos 3 períodos avaliativos - não indexados na Scopus TPI - Porcentagem de periódicos total indexados na Scopus Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 12 Ao comparar as medianas da distribuição de SJR entre o grupo representado apenas pelos periódicos (Md) e aquele que considera a frequência de artigos nesses mesmos periódicos (Md_fA), evidencia-se que a mediana do segundo é significativamente menor que a do primeiro em todos os períodos para Ciências Agrárias I e Administração (valor-p). Desse modo, para essas duas áreas, a produção de artigos se concentrou principalmente naqueles periódicos de mais baixo impacto, considerando-se o conjunto de periódicos comuns aos 3 períodos indexados na Scopus. Ciências Biológicas II e Letras e Linguística, no último período de avaliação, publicaram mais em periódicos de baixo impacto. Para Medicina II, Ciência da Computação e Engenharias III também houve uma concentração maior da produção nos periódicos de mais baixo impacto nos primeiros períodos avaliativos. No último período, já não se observa diferença de concentração entre periódicos de maior ou menor impacto nestas áreas. A área de Educação, no último período, foi a única a apresentar concentração da sua produção em periódicos de maior impacto. Porém, é importante ressaltar que esse conjunto de periódicos indexados aqui avaliados correspondem na área de Educação a menos de 20% dos periódicos comuns aos três períodos. Também, a partir da amplitude inter-quartil (IQR) é possível analisar a dispersão dos dados. A amplitude inter-quartil é a distância entre o primeiro quartil e o terceiro quartil, 50% dos dados estão dentro deste intervalo. Comparando-se intervalo inter-quartil do grupo constituído apenas pelos periódicos (IQR) e aquele que considera a frequência de artigos nesses mesmos periódicos (IQR_fA), a maioria das áreas apresenta uma dispersão menor dos valores de SJR para o segundo grupo em todos os períodos avaliativos, ou seja, há uma menor variabilidade dos valores de SJR entre os periódicos mais utilizados para publicação. Valores maiores do que 1,5 vezes a amplitude inter-quartil são considerados outliers e aqueles com mais de 3 vezes esse valor são outliers extremos. Tendo em vista os valores máximos da amostra (Max) e os valores menores do intervalo inter-quartil considerando a frequência de artigos para a maioria das áreas, é possível verificar o quão distante os valores de SJR dos outliers estão do SJR dos periódicos mais frequentemente escolhidos para publicação. Tabela 4 Distribuição de SJR entre os periódicos comuns aos 3 períodos e indexados, considerando ou não a frequência de artigos nesses mesmos periódicos, em cada período avaliativo Min Max Md Md_fA IQR IQR_fA valor-p Ciências Agrárias I SJR1 0.100 16.075 0.694 0.445 0.758 0.343 < 0.05 SJR2 0.101 19.435 0.711 0.519 0.735 0.362 < 0.05 SJR3 0.106 18.134 0.641 0.457 0.668 0.386 < 0.05 Ciências Biológicas II SJR1 0.104 27.664 1.180 1.126 0.912 0.773 0.412 SJR2 0.202 27.895 1.225 1.190 0.926 0.805 0.636 SJR3 0.132 26.947 1.126 0.877 0.834 0.595 < 0.05 Medicina II SJR1 0.100 27.664 0.997 0.733 0.956 0.940 < 0.05 SJR2 0.100 23.629 1.057 0.841 0.989 1.039 < 0.05 SJR3 0.100 20.899 1.006 1.021 0.931 0.948 0.790 Ciência da Computação SJR1 0.132 4.536 0.693 0.607 0.739 0.633 < 0.05 SJR2 0.135 4.715 0.642 0.594 0.759 0.579 0.430 SJR3 0.102 6.298 0.639 0.709 0.744 0.659 0.654 Engenharia III SJR1 0.100 6.418 0.839 0.794 0.840 1.081 < 0.05 SJR2 0.103 5.674 0.839 0.818 0.854 1.088 < 0.05 SJR3 0.105 3.687 0.805 0.853 0.853 0.965 0.908 Arquivos Analíticos de Políticas Educativas Vol. 28, No. 25 13 Tabela 5 cont. Distribuição de SJR entre os periódicos comuns aos 3 períodos e indexados, considerando ou não a frequência de artigos nesses mesmos periódicos, em cada período avaliativo Min Max Md Md_fA IQR IQR_fA valor-p Educação SJR1 0.100 3.535 0.196 0.145 0.178 0.117 < 0.05 SJR2 0.100 4.732 0.214 0.211 0.208 0.142 0.656 SJR3 0.100 2.872 0.224 0.255 0.192 0.204 < 0.05 Administração SJR1 0.100 3.529 0.280 0.196 0.422 0.159 < 0.05 SJR2 0.100 4.061 0.292 0.202 0.475 0.081 < 0.05 SJR3 0.105 5.112 0.325 0.191 0.609 0.104 < 0.05 Letras e Linguística SJR1 0.100 1.734 0.110 0.101 0.130 0.026 0.082 SJR2 0.100 1.947 0.115 0.108 0.096 0.010 < 0.05 SJR3 0.100 2.035 0.137 0.100 0.162 0.023 < 0.05 Nota. Min: mínimo; Max: máximo; M: média; M_fA: média considerando-se em conta a frequência de artigos Md: mediana; Md_fA: mediana considerando-se a frequência de artigos; IQR: intervalo interquartílico; IQR_fA: intervalo interquartílico considerando-se a frequência de artigos; valor-p: probabilidade de significância ao comparar Md e M_fA Dessa maneira, é possível constatar pelos resultados obtidos que, de um modo geral, houve uma diminuição na taxa de diversificação de periódicos utilizados pelos programas de pós-graduação com aumento na concentração da produção científica brasileira em um número restrito de periódicos já inseridos no sistema há pelos menos uma avaliação periódica. Além disso, em algumas áreas, a maioria destes periódicos não está indexada nas principais bases internacionais de indexação. Entre os periódicos indexados, para a maioria das áreas analisadas, aqueles de menor impacto concentraram a maior parte dos artigos publicados Neste contexto, cabe destacar que a escolha de um periódico para submissão de um artigo envolve a avaliação de obstáculos como a língua de publicação, as exigências do periódico para submissão, o eventual custo de publicação, a natureza do periódico, entre outros. Deste modo, é natural que os pesquisadores procurem submeter seus trabalhos para periódicos com boa classificação Qualis, mas com menores dificuldades de submissão e publicação, independente de eles estarem ou não indexados em bases internacionais. Dessa forma, percebe-se que a lista Qualis pode estar direcionando a escolha de periódicos para um subconjunto com baixo ou nenhum impacto internacional, na medida em que a classificação Qualis destes periódicos pode garantir ao pesquisador a concessão ou manutenção de um determinado recurso financeiro ou benefício. O levantamento realizado pelo CNPq há alguns anos sobre tema semelhante está alinhado aos Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 14 resultados aqui apresentados, destacando que metade dos trabalhos publicados por cientistas brasileiros estão em periódicos nacionais3. Além disso, como a classificação Qualis é definida por um grupo restrito de representantes da comunidade científica, a avaliação de determinado periódico acaba sendo definida com base no julgamento deste grupo. Como colocado anteriormente, esse julgamento pode ou não levar em consideração o impacto internacional do periódico, o que dificulta a estimativa de sua avaliação, caso ainda não esteja na lista Qualis. Deste modo, os pesquisadores acabam restringindo suas escolhas de periódicos para publicação àqueles que já fazem parte da lista. Publicar em um periódico já classificado anteriormente torna-se a decisão mais sensata quando se coloca em jogo a obtenção de recursos ou a avaliação do seu programa de pós-graduação. Esse fenômeno relacionado à lista Qualis pode ser entendido como um processo de “engenharia reversa” em que se observam mudanças no comportamento de indivíduos e instituições para se adequar às regras do jogo, estabelecendo assim estratégias para alcançar melhores resultados (Espeland, 2016). Fato semelhante ocorre também no Reino Unido nas rodadas sucessivas de exercícios de avaliação da pesquisa (RAE e REF). Segundo Marques et al. (2017), a reatividade desencadeada pela formalização e padronização contínuas, juntamente com a transparência do sistema, permitiu que departamentos e indivíduos aprendessem como manter ou melhorar sua posição em um mundo acadêmico sempre competitivo e estratificado. De acordo com Kamdem et al. (2018), a avaliação científica no Brasil tem sido dominada pela necessidade de distribuir recursos a novos grupos de pesquisa promissores e à manutenção de recursos a grupos tradicionais, embora isso não esteja documentado formalmente em publicações anteriores. Ainda segundo os autores, a alocação eficiente de fundos envolve políticas subjetivas de tomada de decisão e, supostamente, medidas bibliométricas objetivas. Outro aspecto a ser destacado é que muitos programas de pós-graduação exigem que seus alunos tenham ao menos uma publicação em periódicos localizados nos estratos superiores do Qualis antes de defender a sua tese de doutorado ou dissertação de mestrado. Assim, o aluno precisa buscar na lista Qualis veículos que possam atender este requisito para conclusão dos seus estudos. Em função dos curtos prazos estabelecidos, o estudante por vezes opta por um periódico nacional não indexado, desde que sua classificação Qualis atenda as normas do programa. Nesse sentido, Meneghini (2010) coloca que a submissão de uma pesquisa brasileira a periódicos nacionais é frequentemente realizada quando o trabalho não é aceito em outros periódicos internacionais, ou quando seus autores predizem que a pesquisa não será aceita. No que diz respeito ao impacto da produção científica brasileira, Strehl et al. (2016) verificaram baixa visibilidade dos periódicos nacionais e impacto significativamente baixo dos artigos neles publicados. Segundo os mesmos autores, na maioria das áreas, o impacto de uma pesquisa brasileira publicada em periódicos nacionais é menor do que a média do impacto global. A conclusão dos autores está alinhada aos resultados aqui apresentados no sentido de que o Qualis, enquanto lista de classificação utilizada como parâmetro de qualidade da pesquisa no país, passou a influenciar os pesquisadores no modo como selecionam os periódicos para publicação de seus trabalhos, conduzindo a produção científica brasileira para uma direção que contribui para a manutenção de seu baixo impacto internacional. 3 Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPQ) - Brasil. Diretório dos grupos de pesquisa no Brasil [Internet]. 2014. Disponível em: http://lattes.cnpq.br/web/dgp. Arquivos Analíticos de Políticas Educativas Vol. 28, No. 25 15 Conclusões Nesse artigo buscou-se discutir a forma como o sistema Qualis tem induzido a produção científica brasileira. Os resultados apresentados mostram um aumento da produção científica nacional, mas também evidenciam que o Qualis a direcionou para um número restrito de periódicos. Por outro lado, esse aumento da produção não significou necessariamente um aumento de sua visibilidade internacional, já que essa produção se concentrou naqueles periódicos de mais baixo fator de impacto entre o restrito conjunto de veículos mais utilizados para publicação. Na medida em que a avaliação da produção científica no país define a forma de alocação de recursos financeiros, é natural que os critérios de avaliação sejam amplamente utilizados pelos pesquisadores na busca por melhores pontuações. Atualmente, os programas de pós-graduação com maior pontuação são aqueles que recebem mais recursos, postura que pode ser questionada quando se pensa na necessidade de impulsionar novos programas de pós-graduação. Nessa lógica, Bianco, Gras & Sutz (2016) colocam que a avaliação da pesquisa funciona como um sistema de sinais que influencia a produção científica em um determinado momento e lugar. No caso do Brasil, o Qualis é esse sistema de sinais e sendo este uma lista de classificação de periódicos não exaustiva, vários periódicos indexados em bases internacionais não são utilizados pela comunidade acadêmica justamente pelo fato de não comporem essa lista. Nesse viés, é importante ressaltar que, embora a CAPES coloque que o uso da lista Qualis deve ser restrita para a avaliação dos programas de pós- graduação, a maior parte da produção científica do país ocorre dentro das universidades. Por consequência, o sistema de pós-graduação está intrinsicamente ligado à geração de pesquisa em sua gênese, o que torna tal posicionamento daquela fundação não efetivo. Ainda nesse viés, cabe também destacar que a escolha de um periódico com algum impacto internacional para publicação não necessariamente garante que ele tenha uma boa classificação na lista Qualis, já que os indicadores bibliométricos não são utilizados por todas as áreas e em algumas delas são apenas ferramentas acessórias na decisão dos pares. E uma vez que essa classificação em alguma medida direciona financiamentos, submeter artigos para periódicos ainda não classificados pode não ser a opção mais eficaz quando se coloca em jogo a obtenção de recursos. Desse modo, esse trabalho vem mostrar que a utilização da lista Qualis por sucessivos anos conduziu a uma reatividade da comunidade científica nacional que não contribuiu para melhorar a visibilidade internacional da pesquisa desenvolvida no país. De um modo geral, apesar de várias críticas, cada vez mais países estão avaliando os resultados da pesquisa universitária de forma abrangente e sistemática, utilizando-se dos grandes rankings de periódicos. Nesse viés, em muitos países, os acadêmicos concentram seus esforços em publicar naquele grupo de periódicos mais altamente classificados. Esse comportamento, por sua vez, é frequentemente estimulado por suas instituições que estabelecem critérios promocionais, distribuição de cargas de ensino e bônus financeiro a partir de rankings de periódicos, muitas vezes restringindo para o pesquisador os veículos permitidos para publicação (McKinnon, 2013). Conforme observado, o Brasil apresenta um cenário semelhante, porém a utilização dos grandes rankings internacionais de periódicos não é a referência principal, mas sim a lista Qualis, que diferentemente da primeira não conduz a produção para periódicos de visibilidade internacional. Em ambos modelos, a partir da utilização dessas listas, observa-se uma mudança da mentalidade acadêmica, em que a publicação de periódicos é cada vez mais percebida como forma acadêmica de pontuar do que um meio de disseminar resultados de pesquisa. Por outro lado, embora os dados apontem para um cenário no qual a lista Qualis não contribuiu para melhorar a visibilidade internacional da produção científica brasileira entre 2007 e 2016, também é importante destacar sua possível contribuição para qualificar os periódicos nacionais Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 16 nesse cenário. Desse modo, os critérios estabelecidos pelo Qualis têm levado editores a atentar para muitos aspectos que padronizam e melhoram a visibilidade dos periódicos científicos nacionais, tais como: adoção de identificadores DOI para os artigos publicados; inclusão de artigos de pesquisadores internacionais, muitas vezes publicados em língua estrangeira; indexação dos periódicos em diversas bases indexadoras nacionais e internacionais, tais como LATINDEX, Directory of Open Access Journals, Revistas de Livre acesso, entre outras. Contudo, a avaliação aprofundada destes fatores e sua contribuição para qualificar os periódicos nacionais está fora do escopo do estudo aqui apresentado, configurando-se em uma temática relevante para trabalhos futuros. Entre as limitações da pesquisa, pode-se citar uso apenas da base Scopus como indicador da visibilidade internacional dos periódicos nos quais os pesquisadores brasileiros têm publicado seus trabalhos. O emprego de outras bases indexadoras poderia trazer resultados diferentes, o que possibilitaria contrastar resultados e ampliar a discussão sobre o tema. O uso de bases indexadoras que já quantificam o número de citações de artigos publicados em periódicos nacionais, tais como Google Acadêmico (h-index), também se mostra um caminho de interesse para estudos futuros. Referências Abramo, G., & D'angelo, C. A. (2011). Evaluating research: From informed peer review to bibliometrics. Scientometrics, 87(3), 499-514. https://doi.org/10.1007/s11192-011-0352-7 Almeida, E. C. E., & Guimarães, J. A. (2013). Brazil’s growing production of scientific articles—how are we doing with review articles and other qualitative indicators? Scientometrics, 97(2), 287- 315. https://doi.org/10.1007/s11192-013-0967-y Bakkalbasi, N. et al. (2006). Three options for citation tracking: Google Scholar. Scopus and Web of Science. Biomedical Digital Libraries, 3(1), 7. https://doi.org/10.1186/1742-5581-3-7 Barata, R. C. B. (2016). Dez coisas que você deveria saber sobre o Qualis. Revista Brasileira de Pos- Graduação, 30(3),13-43. Bedeian, A. G. (2003). The manuscript review process: The proper roles of authors, referees, and editors. Journal of Management Inquiry, 12(4), 331-338. https://doi.org/10.1177/1056492603258974 Belter, C. W. (2015). Bibliometric indicators: opportunities and limits. Journal of the Medical Library Association: JMLA, 103(4), 219. https://doi.org/10.3163/1536-5050.103.4.014 Bergstrom, C. (2007). Eigenfactor: Measuring the value and prestige of scholarly journals. College & Research Libraries News, 68(5), 314-316. https://doi.org/10.5860/crln.68.5.7804 Bianco, M., Gras, N., & Sutz, J. (2016). Academic evaluation: Universal instrument? Tool for development? Minerva, 54(4), 399-421. https://doi.org/10.1007/s11024-016-9306-9 Bollen, J., Rodriquez, M. A., & Van De Sompel, H. (2006). Journal status. Scientometrics, 69(3), 669- 687. https://doi.org/10.1007/s11192-006-0176-z Bordons, M., Fernández, M., & Gómez, I. (2002). Advantages and limitations in the use of impact factor measures for the assessment of research performance. Scientometrics, 53(2), 195-206. https://doi.org/10.1023/A:1014800407876 Bornmann, L., & Daniel, H. D. (2008). What do citation counts measure? A review of studies on citing behavior. Journal of Documentation, 64(1), 45-80. https://doi.org/10.1108/00220410810844150 Bradford. S. C. (1934). Sources of information on specific subjects. British Joumal of Engineering, 137, 85-86. Arquivos Analíticos de Políticas Educativas Vol. 28, No. 25 17 Brasil. (2004). Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Plano Nacional de Pós-graduaça ̃o (PNPG) 2005-2010. Brasília: CAPES. Available in: . Access in: May, 07. 2018. Brasil. (2010). Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Plano Nacional de Pós-graduaça ̃o (PNPG) 2011-2020. Brasília: CAPES. Available in: . Access in: May 07. 2018. Braun, T., Glänzel, W., & Grupp, H. (1995). The scientometric weight of 50 nations in 27 science areas, 1989–1993. Part I. All fields combined, mathematics, engineering, chemistry and physics. Scientometrics, 33(3), 263-293. https://doi.org/10.1007/BF02017332 Codina, L. (2016). Evaluación de la ciencia: Tan necesaria como problemática. El Profesional de la Información (EPI), 25(5), 715-719. https://doi.org/10.3145/epi.2016.sep.01 Coutinho, R. X. et al. (2012). Brazilian scientific production in science education. Scientometrics, 92(3), 697-710. https://doi.org/10.1007/s11192-012-0645-5 Day, T. E. (2015). The big consequences of small biases: A simulation of peer review. Research Policy, 44(6), 1266-1270. https://doi.org/10.1016/j.respol.2015.01.006 Donohue, J. M., & Fox, J. B. (2000). A multi-method evaluation of journals in the decision and management sciences by US academics. Omega, 28(1), 17-36. https://doi.org/10.1016/S0305-0483(99)00024-9 Dora. (2012). San Francisco Declaration on Research Assessment. Dora. Available in: https://sfdora.org/read/ Egghe, L., & Rousseau, R. (1990). Introduction to informetrics: Quantitative methods in library, documentation and information science. Elsevier Science Publishers, 14(2), 251. Espeland, W. N., & Sauder, M. (2007). Rankings and reactivity: How public measures recreate social worlds. American Journal of Sociology, 113(1), 1-40. https://doi.org/10.1086/517897 Espeland, W. (2016). Reverse engineering and emotional attachments as mechanisms mediating the effects of quantification. Historical Social Research/Historische Sozialforschung, 280-304. Falagas, M. E. et al. (2008). Comparison of SCImago journal rank indicator with journal impact factor. The FASEB Journal, 22(8), 2623-2628. https://doi.org/10.1096/fj.08-107938 Ferreira, M. M., & Moreira, R. L. (2002). CAPES 50 anos: Depoimentos ao CPDOC/FGV. Brasília: FGV/CPDOC/CAPES. Fry, J. et al. (2009). Communicating knowledge: How and why UK researchers publish and disseminate their findings. London: The Research Information Network. Gallo, S. A., Sullivan, J. H., & Glisson, S. R. (2016). The influence of peer reviewer expertise on the evaluation of research funding applications. PloS One, 11(10), 1-18. https://doi.org/10.1371/journal.pone.0165147 Gans, J. S., & Shepherd, G. B. (1994). How are the mighty fallen: Rejected classic articles by leading economists. Journal of Economic Perspectives, 8(1), 165-179. https://doi.org/10.1257/jep.8.1.165 Garfield, E. (1998). The impact factor and using it correctly. Der Unfallchirurg, 48(2), 413. Génova, G., Astudillo, H., & Fraga, A. (2016). The scientometric bubble considered harmful. Science and Engineering Ethics, 22(1), 227-235. https://doi.org/10.1007/s11948-015-9632-6 Geuna, A., & Martin, B. R. (2003). University research evaluation and funding: An international comparison. Minerva, 41(4), 277-304. https://doi.org/10.1023/B:MINE.0000005155.70870.bd Gingras, Y. (2016). Bibliometrics and research evaluation: Uses and abuses. MIT Press. https://doi.org/10.7551/mitpress/10719.001.0001 Goergen, P. (2010). Educação superior na perspectiva do sistema e do plano nacional de educação. Educação & Sociedade, 31(112), 895-917. https://doi.org/10.1590/S0101-73302010000300013 Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 18 González-Pereira, B., Guerrero-Bote, V. P., & Moya-Anegón, F. (2010). A new approach to the metric of journals’ scientific prestige: The SJR indicator. Journal of Informetrics, 4(3), 379-391. https://doi.org/10.1016/j.joi.2010.03.002 Heilbron, J., Boncourt, T., Schögler, R., & Sapiro, G. (2017). European Social Sciences and Humanities (SSH) in a Global Context Preliminary finding from the INTERCO-SSH Project. INTERCO-SSH Project. Hicks, D. (2004). The four literatures of social science. In: H. F. Moed (Ed). Handbook of quantitative science and technology research (pp. 473-496). Springer, Dordrecht: Kluwer Academic Publishers. https://doi.org/10.1007/1-4020-2755-9_22 Hicks, D. et al. (2012). Bibliometrics as a tool for research evaluation. In: A. N. Link & N. S. https://doi.org/10.4337/9780857932402.00019 Vonortas, Handbook on the theory and practice of program evaluation. (pp. 249-323). Edward Elgar. Hicks, D. et al. (2015). Bibliometrics: the Leiden Manifesto for research metrics. Nature, 520, 429– 431. https://doi.org/10.1038/520429a Hirsch, J. E. (2005). An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences of the United States of America, (102), 16569 –16572. https://doi.org/10.1073/pnas.0507655102 Hostins, R. C. L. (2006). Os Planos Nacionais de Pós-graduação (PNPG) e suas repercussões na Pós-graduação brasileira. Perspectiva, 24(1), 133-160. Hurt, C. D. (1987). Conceptual citation differences in science, technology, and social sciences literature. Information Processing & Management, 23(1), 1-6. https://doi.org/10.1016/0306- 4573(87)90033-1 Ioannidis, J. P. A. (2006). Concentration of the most-cited papers in the scientific literature: analysis of journal ecosystems. PloS One, 1(1), 5. https://doi.org/10.1371/journal.pone.0000005 Kamdem, J. P. et al. (2018). Productivity of CNPq researchers from different fields in biomedical sciences: The need for objective bibliometric parameters—A report from Brazil. Science and Engineering Ethics, 1-19. https://doi.org/10.1007/s11948-018-0025-5. Kuenzer, A. Z., & Moraes, M. C. M. (2005). Temas e tramas na pós-graduação em educação. Educação & Sociedade, 26(93), 1341-1362. https://doi.org/10.1590/S0101- 73302005000400015 Lee, C. J. et al. (2013). Bias in peer review. Journal of the Association for Information Science and Technology, 64(1), 2-17. https://doi.org/10.1002/asi.22784 Leta, J. et al. (2012). Brazilian growth in the mainstream science: The role of human resources and national journals. Journal of Scientometric Research, 1(1), 44-52. https://doi.org/10.5530/jscires.2012.1.9 Leydesdorff, L., & Wagner, C. (2009). Macro-level indicators of the relations between research funding and research output. Journal of Informetrics, 3(4), 353-362. https://doi.org/10.1016/j.joi.2009.05.005 Li, J. et al. (2017). A comparison of 17 article-level bibliometric indicators of institutional research productivity: Evidence from the information management literature of China. Information Processing & Management, 53(5), 1156-1170. https://doi.org/10.1016/j.ipm.2017.05.002 Ma, N., Guan, J., & Zhao, Y. (2008). Bringing PageRank to the citation analysis. Information Processing & Management, 44(2), 800-810. https://doi.org/10.1016/j.ipm.2007.06.006 Marques, M. et al. (2017). How does research evaluation impact educational research? Exploring intended and unintended consequences of research assessment in the United Kingdom, 1986–2014. European Educational Research Journal, 16(6), 820-842. https://doi.org/10.1177/1474904117730159 Arquivos Analíticos de Políticas Educativas Vol. 28, No. 25 19 Martín-Martín, A., Orduna-Malea, E., & López-Cózar, E. D. (2018). Coverage of highly-cited documents in Google Scholar, Web of Science, and Scopus: A multidisciplinary comparison. Scientometrics, 116(3), 2175-2188. https://doi.org/10.1007/s11192-018-2820-9 Mckinnon, A. C. (2013). Starry-eyed: journal rankings and the future of logistics research. International Journal of Physical Distribution & Logistics Management, 43(1), 6-17. https://doi.org/10.1108/09600031311293228 Meho, L. I., & Yang, K. (2007). Impact of data sources on citation counts and rankings of LIS faculty: Web of Science versus Scopus and Google Scholar. Journal of the Association for Information Science and Technology, 58(13), 2105-2125. https://doi.org/10.1002/asi.20677 Meneghini, R. (2010). Publication in a Brazilian journal by Brazilian scientists whose papers have international impact. Brazilian Journal of Medical and Biological Research, 43(9), 812-815. https://doi.org/10.1590/S0100-879X2010007500073 Nederhof, A. J. (2006). Bibliometric monitoring of research performance in the social sciences and the humanities: A review. Scientometrics, 66(1), 81-100. https://doi.org/10.1007/s11192-006- 0007-2 Oliveira, T. M., & Amaral, L. (2017). Public policies in science and technology in Brazil: Challenges and proposals for the use of indicators in evaluation. In: R. Mugnaini, A. Fujino & N. Y. Kobashi (Org.). Bibliometria e cientometria no Brasil: Infraestrutura para avaliação da pesquisa científica na Era do Big Data (pp. 189- 217). São Paulo: ECA- USP. Packer, A. L. (2011). Os periódicos brasileiros e a comunicação da pesquisa nacional. Revista Universidade de São Paulo, (89), 26-61. https://doi.org/10.11606/issn.2316-9036.v0i89p26-61 Palacios‐Huerta, I., & Volij, O. (2004). The measurement of intellectual influence. Econometrica, 72(3), 963-977. https://doi.org/10.1111/j.1468-0262.2004.00519.x Radicchi, F., Fortunato, S., & Castellano, C. (2008). Universality of citation distributions: Toward an objective measure of scientific impact. Proceedings of the National Academy of Sciences, 105(45), 17268-17272. https://doi.org/10.1073/pnas.0806977105 Reale, E., Barbara, A., & Costantini, A. (2007). Peer review for the evaluation of academic research: lessons from the Italian experience. Research Evaluation, 16(3), 216-228. https://doi.org/10.3152/095820207X227501 Rebora, G., & Turri, M. (2013). The UK and Italian research assessment exercises face to face. Research Policy, 42(9), 1657-1666. https://doi.org/10.1016/j.respol.2013.06.009 Santa, S., & Herrero-Solana, V. (2010). Cobertura de la ciencia de América Latina y el Caribe en Scopus vs Web of Science. Investigación Bibliotecológica, 24(52) 13-27. https://doi.org/10.22201/iibi.0187358xp.2010.52.27451 Sapiro, G., & Seiler-Juilleret, H. (2016). Disseminating the social sciences and humanities. Available in: < https://halshs.archives-ouvertes.fr/halshs-01659501>. Access in: Jan, 10. 2018. Sauder, M., & Espeland, W. N. (2009). The discipline of rankings: Tight coupling and organizational change. American Sociological Review, 74(1), 63-82. https://doi.org/10.1177/000312240907400104 Seglen, P. O. (1997). Why the impact factor of journals should not be used for evaluating research. BMJ: British Medical Journal, 314(7079), 498. https://doi.org/10.1136/bmj.314.7079.497 Simons, K. (2008). The misused impact factor. Science, 322(5899), 165-165. https://doi.org/10.1126/science.1165316 Sivertsen, G. (2016). Patterns of internationalization and criteria for research assessment in the social sciences and humanities. Scientometrics, 107(2), 357-368. https://doi.org/10.1007/s11192- 016-1845-1 Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 20 Strehl, L. et al. (2016). Brazilian science between national and foreign journals: Methodology for analyzing the production and impact in emerging scientific communities. PloS One, 11(5), e0155148. https://doi.org/10.1371/journal.pone.0155148 Vanclay, J. K. (2012). Impact factor: outdated artefact or stepping-stone to journal certification? Scientometrics, 92(2), 211-238. https://doi.org/10.1007/s11192-011-0561-0 Van Noorden, R. (2010). A profusion of measures: scientific performance indicators are proliferating--leading researchers to ask afresh what they are measuring and why. Richard Van Noorden surveys the rapidly evolving ecosystem. Nature, 465(7300), 864-867. https://doi.org/10.1038/465864a Verhine, R. E., & Dantas, L. M. V. (2012). Reflexões sobre o sistema de avaliação da capes a partir do V Plano Nacional de Pós-graduação. Revista de Educação Pública, 18(37), 295-310. Wilsdon, J. et al. (2015). The metric tide: Report of the independent review of the role of metrics in research assessment and management. Sage. https://doi.org/10.13140/RG.2.1.4929.1363. Arquivos Analíticos de Políticas Educativas Vol. 28, No. 25 21 Sobre o Autores Alause da Silva Pires Universidade Federal do Rio Grande do Sul (UFRGS) alausepires1@gmail.com ORCID: http://orcid.org/0000-0002-0505-0184 Graduada em Biomedicina pela Universidade Federal de Goiás (UFG), Mestre em Gerontologia pela Universidade Católica de Brasília (UCB); Doutora em Informática na Educação pela Universidade Federal do Rio Grande do Sul (UFRGS). Analista em Ciência e Tecnologia na Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Eliseo Berni Reategui Universidade Federal do Rio Grande do Sul (UFRGS) eliseoreategui@gmail.com ORCID: http://orcid.org/0000-0002-5025-9710 Doutor em Computação pela Universidade de Londres, Inglaterra (UCL) . Professor da Faculdade de Educação da Universidade Federal do Rio Grande do Sul (UFRGS), professor permanente do Programas de Pós-Graduação de Informática na Educação (PGIE-UFRGS). Ana Cristina Xavier de França Universidade Federal do Rio Grande do Sul (UFRGS) anacristinafranca74@gmail.com ORCID: http://orcid.org/0000-0001-6980-5702 Bacharel em biblioteconomia, pela Faculdade de Biblioteconomia e Comunicação, na Universidade Federal do Rio Grande do Sul (UFRGS). Bibliotecária na Escola Marista Graças. Eric Bettinger Stanford University ebetting@stanford.edu ORCID: http://orcid.org/0000-0002-0337-8223 Doutor em economia pelo Instituto Tecnológico de Massachusetts. Professor na Stanford Graduate School of Education. Sérgio Roberto Kieling Franco Universidade Federal do Rio Grande do Sul (UFRGS) sergio.franco@ufrgs.br ORCID: http://orcid.org/0000-0002-1221-1310 Doutor em Educação pela Universidade Federal do Rio Grande do Sul (UFRGS). Professor Titular da Faculdade de Educação da Universidade Federal do Rio Grande do Sul e professor dos programas de Pós-graduação em Educação e em Informática na Educação. http://orcid.org/0000-0002-0505-0184 http://orcid.org/0000-0002-5025-9710 http://orcid.org/0000-0001-6980-5702 http://orcid.org/0000-0002-0337-8223 http://orcid.org/0000-0002-1221-1310 Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 22 arquivos analíticos de políticas educativas Volume 28 Número 25 17 de feveriero 2020 ISSN 1068-2341 Los/as lectores/as pueden copiar, mostrar, distribuir, y adaptar este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, los cambios se identifican y la misma licencia se aplica al trabajo derivada. Más detalles de la licencia de Creative Commons se encuentran en https://creativecommons.org/licenses/by- sa/4.0/ Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. La sección en español para Sud América de AAPE/EPAA es publicada por el Mary Lou Fulton Teachers College, Arizona State University y la Universidad de San Andrés de Argentina. Los artículos que aparecen en AAPE son indexados en CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). Por errores y sugerencias contacte a Fischman@asu.edu Síganos en EPAA’s Facebook comunidad at https://www.facebook.com/EPAAAAPE y en Twitter feed @epaa_aape. https://creativecommons.org/licenses/by-sa/4.0/ https://creativecommons.org/licenses/by-sa/4.0/ http://www.doaj.org/ https://www.facebook.com/EPAAAAPE Arquivos Analíticos de Políticas Educativas Vol. 28, No. 25 23 arquivos analíticos de políticas educativas conselho editorial Editor Consultor: Gustavo E. Fischman (Arizona State University) Editoras Associadas: Andréa Barbosa Gouveia (Universidade Federal do Paraná), Kaizo Iwakami Beltrao, (Brazilian School of Public and Private Management - EBAPE/FGVl), Sheizi Calheira de Freitas (Federal University of Bahia), Maria Margarida Machado, (Federal University of Goiás / Universidade Federal de Goiás), Gilberto José Miranda, (Universidade Federal de Uberlândia, Brazil), Marcia Pletsch, Sandra Regina Sales (Universidade Federal Rural do Rio de Janeiro) Almerindo Afonso Universidade do Minho Portugal Alexandre Fernandez Vaz Universidade Federal de Santa Catarina, Brasil José Augusto Pacheco Universidade do Minho, Portugal Rosanna Maria Barros Sá Universidade do Algarve Portugal Regina Célia Linhares Hostins Universidade do Vale do Itajaí, Brasil Jane Paiva Universidade do Estado do Rio de Janeiro, Brasil Maria Helena Bonilla Universidade Federal da Bahia Brasil Alfredo Macedo Gomes Universidade Federal de Pernambuco Brasil Paulo Alberto Santos Vieira Universidade do Estado de Mato Grosso, Brasil Rosa Maria Bueno Fischer Universidade Federal do Rio Grande do Sul, Brasil Jefferson Mainardes Universidade Estadual de Ponta Grossa, Brasil Fabiany de Cássia Tavares Silva Universidade Federal do Mato Grosso do Sul, Brasil Alice Casimiro Lopes Universidade do Estado do Rio de Janeiro, Brasil Jader Janer Moreira Lopes Universidade Federal Fluminense e Universidade Federal de Juiz de Fora, Brasil António Teodoro Universidade Lusófona Portugal Suzana Feldens Schwertner Centro Universitário Univates Brasil Debora Nunes Universidade Federal do Rio Grande do Norte, Brasil Lílian do Valle Universidade do Estado do Rio de Janeiro, Brasil Geovana Mendonça Lunardi Mendes Universidade do Estado de Santa Catarina Alda Junqueira Marin Pontifícia Universidade Católica de São Paulo, Brasil Alfredo Veiga-Neto Universidade Federal do Rio Grande do Sul, Brasil Flávia Miller Naethe Motta Universidade Federal Rural do Rio de Janeiro, Brasil Dalila Andrade Oliveira Universidade Federal de Minas Gerais, Brasil Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016 24 archivos analíticos de políticas educativas consejo editorial Editor Consultor: Gustavo E. Fischman (Arizona State University) Editores Asociados: Felicitas Acosta (Universidad Nacional de General Sarmiento), Armando Alcántara Santuario (Universidad Nacional Autónoma de México), Ignacio Barrenechea, Jason Beech ( Universidad de San Andrés), Angelica Buendia, (Metropolitan Autonomous University), Alejandra Falabella (Universidad Alberto Hurtado, Chile), Veronica Gottau (Universidad Torcuato Di Tella), Carolina Guzmán-Valenzuela (Universidade de Chile), Cesar Lorenzo Rodriguez Uribe (Universidad Marista de Guadalajara), Antonio Luzon, (Universidad de Granada), María Teresa Martín Palomo (University of Almería), María Fernández Mellizo-Soto (Universidad Complutense de Madrid), Tiburcio Moreno (Autonomous Metropolitan University-Cuajimalpa Unit), José Luis Ramírez, (Universidad de Sonora), Paula Razquin, Axel Rivas (Universidad de San Andrés), Maria Veronica Santelices (Pontificia Universidad Católica de Chile) Claudio Almonacid Universidad Metropolitana de Ciencias de la Educación, Chile Ana María García de Fanelli Centro de Estudios de Estado y Sociedad (CEDES) CONICET, Argentina Miriam Rodríguez Vargas Universidad Autónoma de Tamaulipas, México Miguel Ángel Arias Ortega Universidad Autónoma de la Ciudad de México Juan Carlos González Faraco Universidad de Huelva, España José Gregorio Rodríguez Universidad Nacional de Colombia, Colombia Xavier Besalú Costa Universitat de Girona, España María Clemente Linuesa Universidad de Salamanca, España Mario Rueda Beltrán Instituto de Investigaciones sobre la Universidad y la Educación, UNAM, México Xavier Bonal Sarro Universidad Autónoma de Barcelona, España Jaume Martínez Bonafé Universitat de València, España José Luis San Fabián Maroto Universidad de Oviedo, España Antonio Bolívar Boitia Universidad de Granada, España Alejandro Márquez Jiménez Instituto de Investigaciones sobre la Universidad y la Educación, UNAM, México Jurjo Torres Santomé, Universidad de la Coruña, España José Joaquín Brunner Universidad Diego Portales, Chile María Guadalupe Olivier Tellez, Universidad Pedagógica Nacional, México Yengny Marisol Silva Laya Universidad Iberoamericana, México Damián Canales Sánchez Instituto Nacional para la Evaluación de la Educación, México Miguel Pereyra Universidad de Granada, España Ernesto Treviño Ronzón Universidad Veracruzana, México Gabriela de la Cruz Flores Universidad Nacional Autónoma de México Mónica Pini Universidad Nacional de San Martín, Argentina Ernesto Treviño Villarreal Universidad Diego Portales Santiago, Chile Marco Antonio Delgado Fuentes Universidad Iberoamericana, México Omar Orlando Pulido Chaves Instituto para la Investigación Educativa y el Desarrollo Pedagógico (IDEP) Antoni Verger Planells Universidad Autónoma de Barcelona, España Inés Dussel, DIE-CINVESTAV, México José Ignacio Rivas Flores Universidad de Málaga, España Catalina Wainerman Universidad de San Andrés, Argentina Pedro Flores Crespo Universidad Iberoamericana, México Juan Carlos Yáñez Velazco Universidad de Colima, México javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/816') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/819') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/820') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/4276') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/1609') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/825') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/797') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/823') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/798') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/555') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/814') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/2703') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/801') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/826') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/802') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/3264') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/804') Arquivos Analíticos de Políticas Educativas Vol. 28, No. 25 25 education policy analysis archives editorial board Lead Editor: Audrey Amrein-Beardsley Editor Consultor: Gustavo E. Fischman (Arizona State University) Associate Editors: Melanie Bertrand, David Carlson, Lauren Harris, Eugene Judson, Mirka Koro-Ljungberg, Daniel Liou, Scott Marley, Molly Ott, Iveta Silova (Arizona State University) Cristina Alfaro San Diego State University Amy Garrett Dikkers University of North Carolina, Wilmington Gloria M. Rodriguez University of California, Davis Gary Anderson New York University Gene V Glass Arizona State University R. Anthony Rolle University of Houston Michael W. Apple University of Wisconsin, Madison Ronald Glass University of California, Santa Cruz A. G. Rud Washington State University Jeff Bale University of Toronto, Canada Jacob P. K. Gross University of Louisville Patricia Sánchez University of University of Texas, San Antonio Aaron Bevanot SUNY Albany Eric M. Haas WestEd Janelle Scott University of California, Berkeley David C. Berliner Arizona State University Julian Vasquez Heilig California State University, Sacramento Jack Schneider University of Massachusetts Lowell Henry Braun Boston College Kimberly Kappler Hewitt University of North Carolina Greensboro Noah Sobe Loyola University Casey Cobb University of Connecticut Aimee Howley Ohio University Nelly P. Stromquist University of Maryland Arnold Danzig San Jose State University Steve Klees University of Maryland Jaekyung Lee SUNY Buffalo Benjamin Superfine University of Illinois, Chicago Linda Darling-Hammond Stanford University Jessica Nina Lester Indiana University Adai Tefera Virginia Commonwealth University Elizabeth H. DeBray University of Georgia Amanda E. Lewis University of Illinois, Chicago A. Chris Torres Michigan State University David E. DeMatthews University of Texas at Austin Chad R. Lochmiller Indiana University Tina Trujillo University of California, Berkeley Chad d'Entremont Rennie Center for Education Research & Policy Christopher Lubienski Indiana University Federico R. Waitoller University of Illinois, Chicago John Diamond University of Wisconsin, Madison Sarah Lubienski Indiana University Larisa Warhol University of Connecticut Matthew Di Carlo Albert Shanker Institute William J. Mathis University of Colorado, Boulder John Weathers University of Colorado, Colorado Springs Sherman Dorn Arizona State University Michele S. Moses University of Colorado, Boulder Kevin Welner University of Colorado, Boulder Michael J. Dumas University of California, Berkeley Julianne Moss Deakin University, Australia Terrence G. Wiley Center for Applied Linguistics Kathy Escamilla University ofColorado, Boulder Sharon Nichols University of Texas, San Antonio John Willinsky Stanford University Yariv Feniger Ben-Gurion University of the Negev Eric Parsons University of Missouri-Columbia Jennifer R. Wolgemuth University of South Florida Melissa Lynn Freeman Adams State College Amanda U. Potterton University of Kentucky Kyo Yamashiro Claremont Graduate University Rachael Gabriel University of Connecticut Susan L. Robertson Bristol University Miri Yemini Tel Aviv University, Israel