TOWARDS AN OBJECTIVE EVALUATION OF TEACHER PERFORMANCE Página web: http://epaa.asu.edu/ojs/ Artigo recebido: 8/4/2015 Facebook: /EPAAA Revisões recebidas: 1/6/2015 Twitter: @epaa_aape Aceito: 1/6/2015 arquivos analíticos de políticas educativas Revista acadêmica, avaliada por pares, independente, de acesso aberto, e multilíngüe Arizona State University Volume 23 Número 114 23 de novembro 2015 ISSN 1068-2341 Tópicos sobre retenção escolar em Portugal através do PISA: qualidade e equidade Maria Eugénia Ferrão Universidade da Beira Interior & CEMAPRE Portugal Citação: Ferrão M. E. (2015). Tópicos sobre retenção escolar em Portugal através do PISA: qualidade e equidade. Arquivos Analíticos de Políticas Educativas, 23(114), http://dx.doi.org/10.14507/epaa.v23.2091 Resumo: No enquadramento das medidas necessárias à Estratégia Europa 2020 - no que concerne à prevenção da saída antecipada, identificam-se grupos de risco de retenção escolar com base na definição frequencista de probabilidade e no modelo de regressão logística multinível. A análise de dados do PISA 2012 sugere que a retenção precoce é um forte preditor da retenção tardia e que a probabilidade de retenção precoce é 35 vezes maior no primeiro décimo da distribuição do nível socioeconómico dos alunos comparativamente com o décimo superior. A razão de chances apurada considerando o modelo logístico multinível indica que os sujeitos do sexo masculino têm, em média, 1.7 vezes mais chance de ficar retidos; por cada unidade de desvio padrão adicional no nível socioeconómico do aluno, a razão de chances de não retenção aumenta 1.5 vezes e quadruplica por unidade da escala de composição socioeconómica da população discente. No que se refere ao autoconceito em Matemática, por cada unidade de desvio padrão adicional, a razão de chances de não retenção aumenta 1.5 vezes. Tendo em mente o debate internacional sobre o efeito de longo prazo da retenção escolar na trajetória individual e sabendo que Portugal se encontra entre os países da OCDE com maior grau de desigualdade na distribuição do rendimento, a interpretação dos resultados obtidos recomenda a conceção, planeamento e implementação de medidas de intervenção http://epaa.asu.edu/ojs/ http://epaa.asu.edu/ojs/article/view/2091 http://epaa.asu.edu/ojs/article/view/2091 Tópicos sobre Retenção em Portugal através do PISA 2 orientadas à melhoria das aprendizagens nos grupos de risco, tendo o 1º e 2º ciclos do ensino básico como prioritários. Palavras Chave: retenção escolar; capital humano; equidade; estatísticas da educação; PISA Topics of grade retention in Portugal through the PISA: quality and equity Abstract: In the framework of measures required for the Europe 2020 strategy – and with regard to the prevention of early school leaving based on frequentist definition of probability and multilevel logistic regression model, we identify the risk groups of grade retention. PISA 2012 data analysis suggests that early retention is a strong predictor of late retention and that the probability of early retention is 35 times higher in the first tenth of the distribution of the students’ socioeconomic status in comparison with the top tenth. The odds ratio calculated using the multilevel logistic model indicates that male students are on average 1.7 times more likely to be retained than female students; for each additional unit of standard deviation in the socioeconomic status of the student, the odds ratio of non-retention increases 1.5 times, and four times per unit of school socio-economic composition. With regard to mathematics self-concept, for each additional unit of standard deviation, the odds ratio of non-retention increases 1.5 times. Bearing in mind the international debate on the long-term effect of grade retention on individual careers, and knowing that Portugal is among the OECD countries with the highest degree of inequality in income distribution, the interpretation of the results recommends the design, planning and implementation of intervention programs aimed at improving the learning in risk groups, with the 1st and 2nd cycles of basic education as priorities. Keywords: grade retention; human capital; equity; education statistics; PISA Retención de los estudiantes en Portugal a través del PISA: calidad y equidade Resumen: En el marco de las medidas necesarias para la Estrategia Europa 202 0 -en lo que respecta a la prevención de salida anticipada, basada en la definición frecuentista de la probabilidad y el modelo de regresión logística multinivel - se identifican grupos de riesgo de retención escolar. El análisis de datos del informe PISA 2 012 sugiere que la retención temprana es un fuerte predictor de la retención tardía y que la razón de probabilidad de retención temprana es 35 veces mayor en el primer décimo de la distribución de la situación socioeconómica de los estudiantes en comparación con el décimo superior. La razón de oportunidad calculada teniendo en cuenta el modelo logístico multinivel con la respuesta de retención variable indica que los sujetos masculinos tienen en promedio 1,7 veces más probabilidad de quedar retenidos; por cada unidad adicional de la desviación estándar en el nivel socioeconómico del alumno, la razón de oportunidad de no retención aumenta 1,5 veces y 4 veces por unidad de composición socioeconómica de la escala de la población estudiantil. En cuanto al autoconcepto en matemáticas, para cada unidad adicional de la desviación estándar, la razón de oportunidad de la no retención aumenta 1,5 veces. Teniendo en cuenta el debate internacional sobre el efecto a largo plazo de la repetición de curso en la carrera indi vidual y sabiendo que Portugal es uno de los países de la OCDE con mayor grado de desigualdad en la distribución del rendimiento, la interpretación de los resultados obtenidos recomienda el diseño, planificación e implementación de medidas de intervención destinadas a mejorar el aprendizaje en grupos de riesgo, con el 1º y 2º ciclos de la educación básica como prioridades. Palabras-clave: retención de los estudiantes; capital humano; equidad; estadísticas de educación; PISA Arquivos Analíticos de Políticas Educativas Vol. 23, No. 114 3 Introdução1 Retenção consiste na “manutenção do aluno abrangido pela escolaridade obrigatória, no ano letivo seguinte, no mesmo ano de escolaridade que frequenta, por razões de insucesso ou por ter ultrapassado o limite de faltas injustificadas”(DGEEC, n.d.). Em Portugal, pelo menos desde 1992, investigadores mostram que a retenção é um fenómeno central no debate sobre a melhoria da educação, especialmente no quadro da educação de qualidade para todos (Delors et al., 1996; UNESCO, 1990, 2000, 2005). Por exemplo, Fernandes (1992) chamou a atenção para a necessidade de mudar o sistema de avaliação educacional e a forma como se avaliavam as aprendizagens de modo a evitar a elevada taxa de retenção verificada no ano letivo de 1989/90. Na sequência da participação de Portugal no TIMSS, o maior projeto internacional de aferição educacional realizado na década de 90 envolvendo mais de 47 países (Robitaille & Donn, 1992), nas palavras daquele autor, […] somente cerca de 37%, ou seja 54 858, dos alunos portugueses com 13 anos frequentavam o 8º ano de escolaridade, quando na verdade, tal deveria acontecer com 147 812. Ou seja, cerca de 90 000 alunos foram ficando para trás… Repare-se, por outro lado, no elevado número de alunos com aquela idade que ainda frequentam o 2º ciclo do ensino básico e compare-se, por exemplo, com o que acontece em países nossos vizinhos da comunidade como a Grécia e a Itália. (Fernandes, 1992; p. 6) A percentagem de 37% permite estabelecer o minorante da estimativa da taxa de distorção escolar (defasagem idade-ano) no ensino básico em 63% no ano lectivo 1989/90. Passados mais de 20 anos, aproximadamente 66% dos alunos portugueses com 15 anos de idade que frequentavam o 10º ano de escolaridade em 2012 declararam nunca ter ficado retidos ao longo da sua trajetória escolar. Apesar da melhoria que a comparação das percentagens traduz, a comparação da posição relativa de Portugal com os países europeus que participaram no PISA 2012 mostra que o país mantém uma posição bastante desfavorável, integrando os três países com mais elevada percentagem de alunos que repetiram pelo menos um ano. Adicionalmente, é o país com a maior percentagem (23%) de alunos a declarar terem ficado retidos pelo menos uma vez em qualquer ano de escolaridade no nível ISCED 1. Retenção e qualidade da educação Consideremos as declarações que garantem o direito à educação de qualidade, a Declaração Universal dos Direitos Humanos, a Declaração de Jomtien ou a Declaração Mundial sobre Educação para Todos, em 1990; Salamanca, em 1994 ou Dakar em 2000 (Delors et al., 1996; UNESCO, 1990, 2000, 2005). Em todos estes textos o direito fundamental aos serviços de educação básica de qualidade é reafirmado. Além disso, é enunciada a necessidade de sua expansão e de medidas consistentes para reduzir as disparidades. Um ponto importante para a reflexão é o papel dos governos, tendo em vista as políticas públicas para que esses direitos sejam efectivamente garantidos. Não obstante o amplo consenso sobre a necessidade de proporcionar a todos o acesso à educação de boa qualidade, há muito menos consenso sobre o significado prático do termo. De facto, tanto as revisões sobre o conceito de qualidade em educação como a sua aplicação mostram que a definição não é universal (Adams, 1993; Barrett, Chawla-Duggan, Lowe, Nikel, & Ukpo, 2006; 1 Uma versão inicial deste trabalho foi preparada para apresentar no seminário sobre Investigação em Educação e os Resultados do PISA, organizado pelo Conselho Nacional de Educação (CNE) e realizado no dia 5 de Dezembro de 2014 na sua sede em Lisboa. Tópicos sobre Retenção em Portugal através do PISA 4 Behrman & Birdsall, 1983; Davok, 2007; Soares, 2004). Numa resenha evolutiva, UNESCO (2005) identifica duas características comuns às definições e respectivas abordagens: (1) o desenvolvimento cognitivo é identificado como um importante objetivo de todos os sistemas educativos, ou seja, o grau em que os sistemas conseguem o desenvolvimento cognitivo de todos os indivíduos é um indicador da sua qualidade; (2) o papel da educação no sentido de incentivar o desenvolvimento criativo e emocional dos alunos, no apoio aos objectivos da paz, da cidadania e da segurança, na promoção da igualdade e em passar valores globais e locais para as gerações futuras. A primeira característica enunciada, o indicador de desenvolvimento cognitivo é usualmente aferido por testes padronizados e tem sido o mais escolhido entre os investigadores de base quantitativa. Todavia, qualidade também pode ser interpretada como uma medida de mudança, ou seja, como o valor acrescentado pela escola ou pelo sistema educativo ao desenvolvimento do aluno. As medidas/acções para garantir o aumento da qualidade ou do valor acrescentado não são simples nem universais. Barrett et al., (2006) referem a importância de diferenciar educação (education) e educação escolar (schooling) quando se discute a definição de qualidade, apesar de muitos autores usarem ambos os termos indiferenciadamente. No âmbito deste artigo, usamos a componente de desenvolvimento cognitivo aferida através dos testes padronizados do PISA como medida de qualidade da educação escolar. Com o foco na educação escolar, Barrett et al. (2006) apresentam uma proposta de qualidade que inclui as seguintes componentes: eficácia, eficiência, equidade, relevância e sustentabilidade. Algumas destas componentes conflituam entre si, de tal maneira que as medidas para melhorar uma delas podem ter efeito negativo na(s) outra(s). O exemplo clássico é o eventual trade-off entre eficácia e equidade, assunto que também é tratado por Adams (1993). Equidade é usualmente definida em termos de oportunidades no acesso à educação de qualidade, da distribuição dos recursos educativos, ou consequências. A heterogeneidade entre alunos verifica-se no seu nível socioeconómico, cultural e linguístico, nas aptidões e habilidades, entre outros aspectos. Equidade implica que tais diferenças sejam reconhecidas e reflectidas na adequação da prática educativa, bem como na distribuição dos recursos educativos ou sociais por forma a garantir a toda a criança ou jovem o seu pleno desenvolvimento. Implicitamente, o professor em sala de aula é o principal ator no reconhecimento de tais diferenças e, deste modo, o papel da avaliação formativa é reforçado, pois “…nunca como agora parece ser necessário investir mais nas avaliações que se desenvolvem pelos professores nas salas de aula. […] a avaliação formativa é com certeza um elemento-chave no desenvolvimento do sucesso educativo” (Fernandes, 2007). Adicionalmente, a investigação em eficácia e melhoria escolar tem mostrado resultados muito promissores na atenuação das desigualdades (e.g. Mortimore & Whitty, 1997; Sammons, Hillman, & Mortimore, 1995; Sammons, Thomas, & Mortimore, 1997), concretamente na identificação dos fatores de eficácia escolar e/ou docente. A análise dos dados portugueses da avaliação internacional PISA tem conduzido à ilação da melhoria da qualidade da educação escolar no que concerne quer ao desenvolvimento cognitivo, aferido pelos testes padronizados, quer à redução das taxas de retenção. Segundo Ferrão & Dias (2010), a comparação entre a média do desempenho em testes padronizados para aferir os níveis de literacia em Matemática, Ciências e Leitura dos alunos portugueses de 15 anos de idade que frequentavam o 10º ano de escolaridade, indica a melhoria progressiva do desempenho do Sistema Educativo português nos anos de 2000, 2003 e 2006. Nas suas palavras (p.154), Mostrámos que o desempenho em Matemática, Leitura e Ciência dos alunos portugueses que frequentam o 10ºano está acima da média de 500 pontos no espaço OCDE. Com base num modelo de regressão multinível quantificámos o efeito marginal associado a cada ano de escolaridade no desempenho em Matemática. No ano de 2003, os alunos que frequentavam o 7ºano atingiam em média menos 164 Arquivos Analíticos de Políticas Educativas Vol. 23, No. 114 5 pontos do que os colegas de 10ºano; para os jovens que frequentavam o 8º ou o 9º as estimativas correspondentes eram 119 e 73 pontos, respectivamente. A análise comparativa destes resultados com os de 2000 e 2006 sugere a melhoria progressiva do efeito da retenção na classificação obtida pelos alunos no teste de Matemática. Ou seja, entre os anos 2000 e 2006 aumentou o número de alunos que atingiram o 10º ano de escolaridade na idade certa e a média do seu desempenho situou-se acima da média da OCDE. Também se verificou melhoria nos resultados dos alunos que haviam sido retidos pelo menos um ano ao longo da sua trajetória escolar. A Tabela 1 contém a média, desvio padrão e coeficiente de variação de variáveis2 que aferem o desempenho em Matemática, Leitura e Ciências dos alunos que frequentavam o 10º ano de escolaridade em 2006, 2009 ou 2012, conforme dados do PISA. Verifica-se que, também entre 2006 e 2012, a média do desempenho dos alunos que atingiram o 10º ano de escolaridade é estatisticamente maior do que a média da OCDE. Dependendo do domínio, a média apresenta uma tendência de estabilidade ou de aumento no período de tempo abrangido. Apesar de algumas limitações técnicas/operacionais na comparação das médias de desempenho no PISA ao longo do tempo (e.g. Klein, 2011), no contexto de progressiva redução da taxa de retenção que se verificou em Portugal entre 2000 e 2011, os resultados apresentados indicam que tal aconteceu sem deterioração da qualidade da educação escolar. Contudo, ainda há muitas questões por responder relativamente ao fenómeno da retenção, algumas das quais se espera dar contributo com este artigo. Tabela 1 Desempenho dos Alunos de 10ºano no PISA 2006, 2009, 2012 Domínio 2006 2009 2012 Matemática Média 519.4 531.09 535.25 Desvio padrão 68.77 73.52 73.31 Coeficiente de variação 0.13 0.14 0.14 Leitura Média 531.23 532.24 534.75 Desvio padrão 69.39 66.58 69.77 Coeficiente de variação 0.13 0.13 0.13 Ciências Média 527 531.27 532.28 Desvio padrão 66.69 68.56 69.42 Coeficiente de variação 0.13 0.13 0.13 2 Estatísticas descritivas obtidas a partir das variáveis “Plausible values in math 1” (PV1MATH), “Plausible values in reading 1” (PV1READ), “Plausible values in science 1” (PV1SCIE), com peso amostral W_FSTUWT. As estimativas obtidas com as restantes variáveis resultantes do processo de imputação múltipla (PV*MATH, PV*READ, PV*SCIE) confirmam a afirmação. Tópicos sobre Retenção em Portugal através do PISA 6 Portugal e a Estratégia Europa 2020 O tema da retenção escolar também tem grande centralidade no quadro da Estratégia Europa 2020. No espaço EU-28 a taxa de saída antecipada3 dos sistemas de educação e formação caiu para 12.7% entre 2007 e 2012. A taxa deve ser menor do que 10% em 2020. Portugal foi um dos países onde se verificou maior redução naquele período de tempo, apesar de ainda estar longe de alcançar a meta. A taxa passou de 36,9% em 2007 para 20,8% em 2012. Em 2000, a taxa era de 43,6% (Eurostat, 2013). A revisão da literatura indica que os fatores associados à saída antecipada são múltiplos e que a retenção é um dos seus principais preditores (e.g. Lyche, 2010; Montmarquette, Viennot-Briot, & Dagenais, 2007; Roderick, 1994). Rebelo & Fonseca (2009) abordam o tema da retenção na região de Coimbra e reportam que “são os repetentes de início precoce que, relativamente aos outros grupos, abandonam mais frequentemente a escola sem obter o diploma do 9º ano de escolaridade” e ainda que “os alunos com insucesso escolar, em especial quando este é precoce […] continuam, na sua grande maioria, a ter insucesso ao longo da escolaridade, evidenciado pela obtenção de negativas e por novas repetências” (p. 204). Em Maio de 2010, o Conselho da União Europeia nas suas conclusões sobre a dimensão social da educação e da formação, reconheceu que a prevenção bem sucedida da saída antecipada exige o desenvolvimento e produção de conhecimento sobre os grupos de risco a nível local, regional e nacional, bem como o desenvolvimento de um sistema para a identificação precoce dos indivíduos em risco. Numa outra recomendação (Council of the European Union, 2011), o Conselho classificou as causas da ineficácia das políticas concebidas para a redução da saída antecipada/precoce em três categorias: (1) A falta de uma estratégia global; (2) A falta de definição de políticas baseadas em evidência, isto é, o Conselho refere que, com a exceção de alguns países que adotam uma abordagem sistemática para a recolha, monitoramento e análise de dados sobre a saída antecipada/precoce, a generalidade dos Estados-Membros não dispõe de dados sobre os alunos em risco e que permitam quer a análise da incidência quer das causas; (3) A prevenção e intervenção precoce são insuficientes, ou seja, embora os Estados-Membros já tenham começado a dedicar atenção à prevenção, ainda é necessário reforçar medidas de prevenção e de intervenção precoce, tais como as que permitam evitar os problemas de segregação e dos efeitos negativos da retenção escolar. Na literatura, há consenso amplo sobre os efeitos negativos da retenção, tanto ao nível individual como coletivo. Entre esses efeitos encontram-se o fomento do autoconceito negativo, o congestionamento do sistema educativo e o desperdício de recursos (e.g. Autor et al., 2002, 2007; Brophy, 2006; Eisemon, 1997; Gomes-Neto & Hanushek, 1994; Klein & Ribeiro, 1991; Teixeira de Freitas, 1947). Os doze profissionais (investigadores, directores de agrupamento de escola, dirigentes do Ministério da Educação e Ciência) auscultados no âmbito do relatório técnico desenvolvido pelo Conselho Nacional de Educação sobre o tema da retenção em Portugal foram unânimes em considerar que a retenção escolar é um problema e não uma solução (Conselho Nacional de Educação, 2015). O balanço final das audições menciona ainda que a maioria dos profissionais considera que existe a “cultura da retenção”, que se deve ao “possível impacto da avaliação externa”, indicaram como alternativa (à retenção escolar) “diagnosticar precocemente as dificuldades / investimento nas idades precoces”, apontaram como constrangimento a avaliação externa. Reafirmando o papel da avaliação na melhoria da qualidade das aprendizagens e do sistema 3 De acordo com o glossário de conceitos para fins estatísticos das áreas temáticas Educação e Formação, “Saída Antecipada” (Early school leaving) consiste na “situação dos indivíduos, num escalão etário (normalmente entre os 18-24 anos), que não concluíram o 3.º ciclo do ensino básico e não se encontram a frequentar a escola”. Arquivos Analíticos de Políticas Educativas Vol. 23, No. 114 7 educativo, Fernandes (2007, p. 599) menciona que “Apesar de se saber que não há quaisquer resultados da investigação que nos mostrem que aumentar a quantidade de exames […] melhora as aprendizagens dos alunos, os governos de muitos países insistem nessa linha de ação”. A quantidade de exames em Portugal aumentou nos últimos anos. As estatísticas apresentadas no relatório Educação em Números 2013 (DGEEC, 2013), revelam que a taxa de retenção e desistência no ensino básico, mostravam uma tendência de queda entre 2000 e 2011 e que, desde então, a taxa voltou a aumentar (op.cit. p.45). Concretamente, no 1º ciclo do ensino básico, a taxa de retenção e desistência era 3,3% em 2010/11 e aumentou para 4,9% no ano 2012/13; no 2º ciclo era 7,4% e passou para 12,5%, ou seja, retomou valores próximos dos verificados uma década atrás; no 3º ciclo a taxa era 13,3% em 2010/11 e passou para 15,9% em 2012/13. Adicionalmente, a taxa de retenção e desistência no ensino básico por ano de escolaridade, no ano 2012/13 varia de 4,3% a 17,7% (em estabelecimentos do ensino público varia entre 4,6% e 19,0%), atingindo o (escandaloso) valor de 10,5% no 2º ano de escolaridade no ensino público (op.cit. p. 46). Principais Objetivos Dada a centralidade do tema retenção escolar, não dispondo de microdados sobre os alunos em risco de retenção e de saída antecipada/precoce, a análise dos dados do PISA pode contribuir, em parte, para compreender melhor o fenómeno. Assim, os objetivos principais deste artigo são os seguintes: (1) identificar os grupos de risco de retenção; (2) verificar a associação entre o autoconceito do aluno e a probabilidade de retenção; (3) quantificar o efeito marginal de grupo de risco e autoconceito do aluno na probabilidade de retenção; (4) contribuir para identificar perfil de escolas para intervenção prioritária. As análises efetuadas podem dividir-se em três etapas principais: (1) através da aplicação da definição frequencista de probabilidade mostrar-se-á que a retenção precoce4 tem efeito potenciador de retenção tardia; (2) por meio do cálculo do risco relativo de retenção no primeiro decil da situação socioeconômica do aluno face ao decil superior, mostrar-se-á um padrão de causalidade que contribui fortemente para reforçar os efeitos cumulativos de desvantagem social; (3) pela aplicação de um modelo de regressão logística multinível para a retenção, estimar-se-á o efeito marginal associado à variável sexo, idade, nível socioeconómico e autoconceito do aluno, bem como às seguintes variáveis de escola: tipo (particular vs. pública), composição socioeconómica da população discente, dimensão do agregado populacional onde a escola está situada. O restante deste trabalho desenvolve-se da seguinte forma: a seção 2 descreve os dados, variáveis e métodos aplicados, na Seção 3 apresentam-se e interpretam-se os resultados obtidos e a discussão na Seção 4. Dados e Métodos O PISA (Programme for International Student Assessment) afere em que medida é que os alunos perto do final da escolaridade obrigatória adquiriram os conhecimentos e aptidões que são essenciais para a plena participação nas sociedades modernas. Trata-se de um inquérito complexo transversal que envolve amostragem por etapas múltiplas. A população-alvo em cada um dos países 4 No âmbito deste trabalho, define-se “retenção precoce” à retenção que ocorre em qualquer dos anos de escolaridade que integram o nível ISCED 1 e “retenção tardia” à retenção que ocorre em qualquer dos anos de escolaridade que integram o nível ISCED 2. Tópicos sobre Retenção em Portugal através do PISA 8 participantes é constituída pelos estudantes de 15 anos de idade que frequentam a escola entre o 7º e o 11º ano de escolaridade (OCDE, 2014, p. 66). O planeamento amostral é estratificado em duas etapas em que a unidade primária de amostragem é escola. As escolas são selecionadas com probabilidade proporcional ao tamanho. A segunda unidade de amostragem é aluno. O tamanho da amostra é 5722 que representa a população de 96034 alunos. O desenho amostral foi incorporado na modelação através de um dos procedimentos descrito em Pfeffermann et al. (1998) e implementado experimentalmente no MLwiN v2.31 (Rasbash, Browne, Healy, Cameron, & Charlron, 2014). As variáveis W_FSTUWT e W_FSCHWT foram consideradas para a expansão da amostra5. De acordo com OECD, (2014a), a grande inovação no PISA 2012 é o questionário de aluno ter sido desenvolvido e aplicado em painéis rotativos, tal como tem acontecido na aferição cognitiva nos domínios de Matemática, Leitura e Ciências. A tal respeito, pode ler-se que o respectivo relatório técnico, no prelo, fornece todos os detalhes sobre o questionário do estudante, aplicado em painéis rotativos, incluindo as suas implicações em termos de (a) estimativas de proficiência, (b) relatórios e tendências, (c) outras análises, (d) estrutura e documentação da base de dados, e (e) logística. E acrescenta que a aplicação em painéis rotativos tem implicações negligenciáveis para as estimativas de proficiência e correlações com variáveis de contexto (op.cit. p. 264)6. Para os testes de aferição em Matemática, Leitura e Ciências, que também são aplicados em painéis rotativos, as bases de dados do PISA 2012 contêm os resultados (plausible values) da imputação múltipla. Contudo, tal não acontece para as variáveis do questionário de aluno. Estas variáveis apresentam valores omissos por planeamento (missing by design), atingindo 1/3 dos casos em cada uma delas (veja como exemplo o índice de autoconceito em Matemática na Tabela 2). Tudo indica que as análises que têm sido feitas com estas variáveis pelo consórcio PISA, tais como as que constam do relatório (OECD, 2013) consideram valores omissos por planeamento como sendo completamente aleatórios (Little & Rubin, 2002). É sob este pressuposto que os valores omissos serão tratados neste trabalho. Com o objectivo de permitir a qualquer investigador replicar os resultados apresentados adiante, identificam-se seguidamente as variáveis usadas na análise e modelação de dados: Gender (ST04Q01) - Sexo. 49,4% dos alunos são do sexo feminino. Grade Repetition (REPEAT) - Retenção. Com base nos casos válidos, 34.3% dos alunos ficaram retidos pelo menos um ano ao longo da sua trajectória escolar. Repeat - (ST07Q01) – Retenção . Com base nos casos válidos, 23.3% dos alunos ficaram retidos pelo menos um ano no 1º ou no 2ºciclo do ensino básico. Repeat - (ST07Q02) Retenção . Com base nos casos válidos, 19.8% dos alunos ficaram retidos pelo menos um ano no 3º ciclo do ensino básico. Age of Student (AGE) – Idade. A idade do aluno varia entre 15.25 e 16.25 anos, com média 15.75 (DP 0.69). Mathematics Self-concept (SCMAT) - Autoconceito. O índice de autoconceito em Matemática foi construído pelo consórcio PISA, de acordo com a seguinte descrição apresentada em OECD (2013; 5 Todos os modelos foram estimados com e sem expansão da amostra. As estimativas pontuais alteram-se ligeiramente. Do ponto de vista substantivo, a interpretação dos resultados mantém-se. 6 O relatório técnico (OECD, 2014b) acima mencionado foi publicado em Dezembro de 2014. À data de realização do Seminário no CNE não havia documentação escrita ou qualquer orientação sobre o tratamento consequente à aplicação de painéis rotativos ao questionário de aluno. As variáveis e índices na base de dados PISA 2012, bem como o relatório (OECD, 2013) indicavam que nenhum tratamento estatístico tinha sido realizado sobre os missing by design. Arquivos Analíticos de Políticas Educativas Vol. 23, No. 114 9 p. 95). Ou seja, o índice foi construído a partir das respostas dos alunos sobre o grau de concordância com afirmações sobre o gosto e a aprendizagem da matemática. Highest parental occupational status (HISEI) – ZHISEI. O índice HISEI é o máximo entre o índice ISEI (Ganzeboom, De Graaf, & Treiman, 1992; Ganzeboom, 2010) aplicado aos dados da Mãe e do Pai do aluno. É usado como proxy do nível socioeconómico do aluno. Total school enrollment (SCHSIZE) – Tamanho do estabelecimento. As estatísticas descritivas do tamanho do estabelecimento escolar/agrupamento em termos do número de alunos matriculados indicam que 25% dos alunos da população PISA 2012 estudam em estabelecimentos com menos de 574 alunos, 50% estudam em estabelecimentos com até 919 alunos e 25% em estabelecimentos com mais de 1372. Esta variável foi inicialmente incluída no modelo multinível como variável controlo do planeamento amostral, na sequência da recomendação em (Pfeffermann, Skinner, Holmes, Goldstein, & Rasbash, 1998). Foi posteriormente excluída, após verificar-se não ser estatisticamente significativa. Type of school (SC01Q01) – Tipo de escola: pública ou particular. School location (SC03Q01) – Localização da escola. Composição socioeconómica da população discente foi obtida através da média da variável ZHISEI em cada escola. Para as análises realizadas deste artigo, as variáveis HISEI e SCMAT foram padronizadas por referência aos dados de Portugal, dando lugar, respectivamente a ZHISEI e ZSCMAT. Tabela 2 Estatísticas Descritivas Idade do aluno Autoconceito em Matemática Zscore: HISEI Número de alunos da escola n Casos válidos 96034 62243 91588 88692 Resposta omissa 0 33791 4446 7343 Média 15.75 -0.10 0.00 971.17 Desvio padrão 0.29 0.93 1.00 486.89 Quartis 25º 15.50 -0.52 -0.82 574 50º 15.75 -0.06 -0.29 919 75º 16.00 0.41 0.72 1372 Para a modelação da retenção considerou-se um modelo de regressão logística de dois níveis (alunos agrupados em escolas), com função de ligação logit. A variável de interesse, Y, representa a situação do aluno face à retenção. É uma variável binária com valor 1 se o aluno ficou retido alguma vez ao longo da sua trajetória escolar, 0 em caso contrário. Denota-se a probabilidade de retenção do aluno i na escola j, com i=1,..,nj, j=1,..,J, onde J é o número de escolas e nj é o número de alunos na escola j. A equação do modelo de regressão logística multinível escreve-se como segue, Tópicos sobre Retenção em Portugal através do PISA 10 onde S é o número de variáveis explicativas no modelo e a função é designada por função logit, ou por logite em Portugal, logito no Brasil. Detalhes sobre o modelo podem ser encontrados, por exemplo, em Goldstein (2003) ou na síntese apresentada por Ferrão (2015). Para este trabalho foram ajustados oito modelos, dependendo do conjunto de covariáveis incluídas no preditor linear e da variável resposta (os modelos foram ajustados para Retenção e para Retenção ), tal como apresentamos resumidamente na Tabela 3. Ou seja, os modelos [1], [2], [3] e [4] incluem as variáveis de alunos (nível 1) e os restantes incluem, adicionalmente, variáveis de escolas (nível 2). Tabela 3 Síntese dos Modelos Ajustados Modelo Variável resposta Preditor linear REPEAT REPEAT Sexo Idade ZHISEI SCMAT Tipo Composição Localização [1] X X X X [2] X X X X X [3] X X X X [4] X X X X X [5] X X X X X X [6] X X X X X X X [7] X X X X X X [8] X X X X X X X Resultados As questões endereçadas neste trabalho são respondidas com base nas variáveis acima descritas e os resultados apresentam-se em duas subsecções organizadas de acordo com a natureza dos métodos aplicados. Probabilidade de Retenção e Nível Socioeconómico do Aluno Considerando os casos válidos e a definição frequencista, a probabilidade do aluno nunca ficar retido em algum ano de escolaridade no ISCED 1 (1º e 2º ciclos do ensino básico) é de 0,77 e a de ficar retido pelo menos um ano é de 0,23. Ao longo do ISCED 2 (3ºciclo do ensino básico), o aluno que nunca ficou retido no ISCED 1 tem uma probabilidade de 0,95 de assim continuar, e uma probabilidade de 0,05 de ficar retido pelo menos um ano desse ciclo. Já o aluno que ficou retido pelo menos um ano no ISCED 1, tem probabilidade de 0,49 de não ficar retido no ISCED 2 e probabilidade de 0,51 de ficar retido pelo menos um ano nesse ciclo de ensino (cf. Tabela 4). Dito de outro modo, a maioria (51%) dos alunos que reprova no 1º ou 2º ciclos do ensino básico volta a reprovar no 3ºciclo. Deve notar-se como a probabilidade de retenção no 3ºciclo difere consoante se trate de um aluno que foi retido até ao 6ºano de escolaridade ou não. Naquele caso a probabilidade é 0.51 enquanto neste é 0.05. Estas estimativas sugerem que a retenção precoce é um forte preditor da retenção tardia. Arquivos Analíticos de Políticas Educativas Vol. 23, No. 114 11 Tabela 4 Probabilidade Condicional de Retenção ISCED 2 | ISCED 1 Retenção Total Não Sim Retenção Não 0.95 0.05 1.00 Sim 0.49 0.51 1.00 A Tabela 6 apresenta as probabilidades de retenção calculadas considerando os dois grupos extremos de nível socioeconómico (HISEI). Isto é o grupo de alunos cujo nível socioeconómico é menor do que o 1º decil e o grupo de alunos cujo nível socioeconómico é maior do que o 9º decil. Assim, nas colunas [1] e [2] as probabilidades de retenção para os 10% de alunos mais desfavorecidos e favorecidos, respectivamente. No grupo mais desfavorecido a probabilidade de retenção é 0.593 enquanto no grupo mais favorecido é 0.053. Tais probabilidades calculadas com base na variável Retenção são, respectivamente, 0.496 e 0.014, e com base na variável Retenção são 0.329 e 0.042. De notar que o risco relativo de retenção precoce (Retenção ) é 35.4, indicando que a probabilidade de retenção precoce é 35.4 vezes maior no grupo mais desfavorecido. Tabela 5 Probabilidade de Retenção nos Grupos HISEI Menor 1º Decil; HISEI Maior 9º Decil Probabilidade 1º decil [1] 9º decil [2] Razão de Probabilidades [1]/[2] Retenção 0.593 0.053 11.19 Retenção 0.496 0.014 35.43 Retenção 0.329 0.042 7.83 Estimativas do Modelo Logístico Multinível para Retenção As estimativas (Est) dos parâmetros fixos e aleatórios, e respectivos erros padrão (EP), dos modelos [1], [2], [3] e [4] são apresentadas na Tabela 6 e dos restantes modelos na Tabela 8. Os testes de hipóteses subjacentes à análise de resultados são realizados com o nível de significância de 5%. Os resultados mostram que a associação entre as variáveis sexo, idade, nível socioeconómico, autoconceito e a probabilidade de retenção é estatisticamente significativa. A probabilidade de retenção aumenta com a idade do aluno e é maior no grupo de alunos do sexo masculino comparativamente ao feminino. A probabilidade de retenção é negativamente correlacionada com o nível socioeconómico e com o autoconceito do aluno, isto é, quanto maior o nível socioeconómico ou o autoconceito menor a probabilidade de retenção. Concretamente, os resultados obtidos do modelo 2 sugerem que a razão de chances (odds ratio) de retenção é 1.7 vezes maior no grupo do sexo masculino. Por cada unidade de desvio padrão no nível socioeconómico do aluno, a razão de chances de não retenção aumenta 1.5 vezes. No que se refere ao autoconceito em Matemática, por cada unidade de desvio padrão adicional, a razão de chances de não retenção aumenta 1.5 vezes. As colunas [3] e [4] incluem os resultados dos modelos para a variável resposta Retenção . À análise acima apresentada, estes modelos vêm acentuar a relevância do nível Tópicos sobre Retenção em Portugal através do PISA 12 socioeconómico individual na probabilidade de retenção precoce. Tal como pode ser verificado, a estimativa pontual associada a ZHISEI tem valor agravado em ambos os modelos. De acordo com Tabela 6 Estimativas dos Parâmetros Fixos e Aleatórios – Variáveis de Alunos Retenção Retenção Modelo [1] [2] [3] [4] Parte Fixa Est EP Est EP Est EP Est EP Constante -19.26 2.68 -15.36 2.76 -16.55 2.53 -11.97 2.84 Sexo: Masc. vs Fem. 0.37 0.07 0.52 0.09 0.42 0.08 0.54 0.12 Idade 1.20 0.18 0.95 0.18 0.99 0.16 0.69 0.18 ZHISEI -0.46 0.04 -0.43 0.05 -0.67 0.05 -0.62 0.06 ZSCMAT --- --- -0.41 0.05 --- --- -0.33 0.05 Parte Aleatória Nível 2 1.25 0.13 1.23 0.13 0.90 0.10 0.89 0.12 Nível 1 (binomial) 1.00 0.00 1.00 0.00 1.00 0.00 1.00 0.00 Nºunidades nível 2 195 195 195 195 Nºunidades nível 1 5433 3582 4858 3183 as estimativas obtidas [4], a razão de chances de não retenção precoce, aumenta 1,9 vezes por unidade de desvio padrão do nível socioeconómico. No que diz respeito às variáveis de escola, as estimativas apresentadas na Tabela 8 sugerem que a probabilidade de retenção é maior em escolas cuja composição da população discente é socioeconomicamente mais desfavorecida. Podemos observar que, de acordo com os modelos [6] e [8] a razão de vantagens de não retenção aproximadamente quadruplica por cada unidade da variável composição socioeconómica da população discente. Concretamente, no que se refere à não retenção precoce, a razão de chances é 4,2 (modelo [8]). Este conjunto de modelos também sugere que quando se considera a composição socioeconómica da população discente, o tipo de escola - se a escola é pública ou particular, não tem efeito estatisticamente significativo na probabilidade de retenção. Acresce da análise, alunos que frequentam escolas localizadas em cidades com dimensão populacional até 100 000 habitantes têm menor probabilidade de retenção escolar. Discussão Através da aplicação de métodos estatísticos aos dados portugueses do PISA 2012, com o objectivo de compreender melhor que grupos de risco e atributos de aluno estão relacionados à probabilidade de retenção escolar em Portugal, confirmou-se o grupo de risco associado ao sexo masculino, confirmou-se a associação entre retenção e autoconceito negativo, não discutindo aqui o nexo de causalidade, e também se confirmou a influência do nível socioeconómico na probabilidade de retenção, em particular na probabilidade de retenção precoce. Estes resultados corroboram os resultados apresentados por Rebelo & Fonseca (2009) para a região de Coimbra no que se refere aos atributos sexo e nível socioeconómico/escolaridade dos pais, bem como os achados mencionados na revisão da literatura efectuada por Suehiro, Rueda, Oliveira, & Pacanaro(2009) sobre a influência do autoconceito e desempenho escolar. Adicionalmente, verificámos a existência de um padrão Arquivos Analíticos de Políticas Educativas Vol. 23, No. 114 13 indicando que a retenção precoce (ISCED 1) é um forte preditor da retenção tardia (ISCED 2) e quantificámos a respectiva probabilidade. Tabela 7 Estimativas dos Parâmetros Fixos e Aleatórios – Variáveis de Alunos e Escolas Retenção Retenção Modelo [5] [6] [7] [8] Parte Fixa Est EP Est EP Est EP Est EP Constante -19.72 3.08 -20.91 3.24 -16.45 2.80 -17.37 3.01 Sexo: Masc. vs Fem. 0.39 0.07 0.42 0.08 0.43 0.09 0.45 0.09 Idade 1.26 0.20 1.34 0.21 1.00 0.18 1.05 0.20 ZHISEI -0.45 0.04 -0.45 0.05 -0.66 0.05 -0.64 0.06 Tipo de escola: Part.vs Pública -2.08 0.44 -0.96 0.61 -1.69 0.40 -0.40 0.48 Composição escola - ZHISEI --- --- -1.27 0.40 --- --- -1.44 0.25 Localização: Aldeia(<3,000) vs. Metrópole 0.29 0.44 -0.66 0.39 0.39 0.41 -0.42 0.36 Cidade pequena (3,000 – 15,000) vs. Metrópole -0.27 0.27 -0.88 0.27 -0.09 0.24 -0.53 0.22 Cidade (15,000 – 100,000) vs. Metrópole -0.75 0.31 -1.04 0.33 -0.69 0.27 -0.77 0.24 Grande metrópole (>1,000,000) vs. Metrópole -0.12 0.49 -0.36 0.73 0.41 0.42 0.33 0.61 Parte Aleatória Nível 2 1.19 0.14 1.05 0.16 0.86 0.11 0.69 0.10 Nível 1 (constante binomial) 1.00 0.00 1.00 0.00 1.00 0.00 1.00 0.00 Nºunidades nível 2 192 192 192 192 Nºunidades nível 1 5380 5380 4814 4814 Os resultados sugerem que a maioria dos alunos (51%) que fica retido pelo menos um ano no nível ISCED 1 (1º e 2º ciclos do ensino básico) volta a ter essa experiência no ISCED 2 (3º ciclo do ensino básico). Também verificámos que a probabilidade de retenção no nível ISCED 1 é 35 vezes maior no primeiro décimo da distribuição do nível socioeconómico dos alunos comparativamente com a probabilidade no décimo superior. Dito de outro modo, a probabilidade de retenção precoce está fortemente associada ao nível socioeconómico da criança e o défice educacional que supostamente deveria ser reposto pela retenção, mantém-se ao longo da trajectória escolar da criança, potenciando novas retenções. A razão de chances apurada considerando o modelo logístico multinível com variável resposta retenção (sim/não) indica que, por cada unidade de desvio padrão no nível socioeconómico do aluno, a razão de chances de não retenção aumenta 1.5 vezes. A razão de chances de não retenção quadruplica por unidade da variável composição socioeconómica da população discente. Tópicos sobre Retenção em Portugal através do PISA 14 Estes resultados enunciam um problema de equidade no sistema educativo português, ou seja, a distribuição de recursos educativos não está a garantir a toda a criança ou jovem o seu pleno desenvolvimento, independentemente do seu nível socioeconómico. Ora, tais resultados, obtidos com os dados do PISA 2012, são referentes a alunos de 15 anos de idade com percursos socioeducativos desenvolvidos em contexto educativo de redução das taxas de retenção escolar. De facto, as estatísticas oficiais da educação (DGEEC, 2013) mostram que entre o ano 2000/1 e 2010/2011 a taxa de retenção e desistência foi diminuindo e que a partir de então voltou a aumentar. No ano lectivo 2012/13, a taxa de retenção e desistência no 2º ano de escolaridade (crianças com 7 anos de idade) do ensino público atingiu 10,5%. Ligando esta taxa de retenção ao facto de termos mostrado que a probabilidade de retenção ISCED 1 no decil socioeconomicamente mais desfavorecido é 35,4 vezes maior do que no decil superior e que a maioria dos alunos retido pelo menos um ano no nível ISCED 1 volta a reprovar no nível ISCED 2; parece que para os alunos mais desfavorecidos socialmente se configura um imenso cenário de desigualdade de oportunidades, com início na escola, a partir dos 7 anos de idade. Decorre das evidências acima apresentadas que o défice de equidade no sistema educativo tende a agravar-se com o recrudescimento das taxas de retenção. Adicionalmente, tendo em mente o debate internacional sobre o efeito de longo prazo da retenção escolar, por exemplo em termos do mercado de trabalho e dos salários (e.g. Eide & Showalter, 2001), e considerando que Portugal se encontra entre os países da OCDE com maior grau de desigualdade na distribuição do rendimento (apenas com posição relativa melhor do que a Turquia e o México) (OECD, 2008, p. 27), os resultados obtidos obrigam à interpelação de governantes e mentores de políticas públicas no sentido de garantir que qualquer intervenção que possa inverter as conquistas alcançadas em matéria da qualidade e equidade do sistema educativo, seja fortemente respaldada em estudos de base científica. De facto, há muitos anos que há consenso generalizado entre investigadores em educação de todo o mundo que a retenção é uma solução injusta, pedagogicamente ineficaz e dispendiosa (e.g. Paul, 1997). Considerando a realidade nos Estados Unidos, a revisão sistemática da literatura sobre as políticas de retenção baseadas em exames apresentada por Huddleston (2014) indica que embora alguns estudos mostrem ganhos na média do desempenho académico devido à retenção escolar baseada em exames, existe evidência crescente de que esses ganhos limitaram as oportunidades educativas para os alunos mais vulneráveis. A investigação científica é profícua e multifacetada no que se refere às estratégias e soluções que constituem alternativas à retenção. Os resultados também conduzem à necessidade de continuar a formular medidas orientadas a subpopulações específicas, mais sujeitas ao risco de retenção, tais como crianças do sexo masculino, provenientes de grupos socialmente desfavorecidos; equacionar programas de melhoria orientados a escolas com maior concentração de alunos socialmente desfavorecidos e com maior taxa de retenção. Está fora do âmbito deste trabalho explorar as causas do recrudescimento das taxas de retenção, mas encontramos nos textos estudados pistas para trabalho futuro. Isto é, o eventual efeito do aumento da quantidade de exames, o “possível impacto da avaliação externa” (Conselho Nacional de Educação, 2015), ou mesmo o efeito do uso crescente em Portugal da avaliação institucional e profissional para fins de alto risco (high stakes), bem como o efeito do agravamento das dificuldades socioeconómicas sentidas nos últimos anos pela população, especialmente nos grupos mais vulneráveis. Finalmente, importa referir que a identificação e diagnóstico atempado de grupos de alunos ou clusters de escolas que exijam a implementação de programas de melhoria, bem como a avaliação de políticas, programas ou métodos específicos, não dispensam dados longitudinais mensurados na unidade estatística aluno e que permitam a comparação de resultados de desempenho escolar dos alunos ao longo do tempo (e.g. Ferrão & Couto, 2014). A comparabilidade de resultados de desempenho escolar ao longo do tempo e a necessidade de o fazer simultaneamente com menos recursos financeiros e com maior precisão nas estimativas obtidas, apela à maior permeabilidade da Arquivos Analíticos de Políticas Educativas Vol. 23, No. 114 15 administração pública, no sector da educação, na incorporação do conhecimento e inovação. Neste sentido e também para ultrapassar as limitações mencionadas adiante, a investigação científica baseada nos dados longitudinais recolhidos no âmbito do Sistema de Informação do Ministério da Educação, abreviadamente designado MISI (Ministério da Educação, 2006, 2007) poderia ser de grande relevância na área da estatística educacional. Contudo, os dados MISI não estão abrangidos pelo conceito open government data, cada vez mais adoptado por outros países visando, entre outros, a transparência e a responsabilização-prestação de contas no sector público. Conclusão e Limitações Neste artigo usámos a componente de desenvolvimento cognitivo aferida através dos testes padronizados do PISA como medida de qualidade da educação escolar e mostrámos que, ao longo da primeira década do séc. XXI, se verificou melhoria da qualidade da educação, no contexto de progressiva redução das taxas de retenção. Ou seja, foi possível reduzir a taxa de retenção sem deteriorar a qualidade da educação. É pois com apreensão que, perante esse cenário promissor, vemos as taxas de retenção recrudescer desde 2011/12. Também verificámos que a probabilidade de retenção precoce está fortemente associada ao nível socioeconómico da criança, isto é, os resultados sugerem que a probabilidade de retenção precoce é 35 vezes maior no primeiro décimo da distribuição do nível socioeconómico dos alunos comparativamente com o décimo superior, e que após uma retenção precoce torna-se 10 vezes mais provável uma retenção tardia. A probabilidade de retenção é agravada em escolas cuja composição socioeconómica da população discente é desfavorável. Tendo definido equidade em termos de oportunidades no acesso à educação de qualidade, da distribuição dos recursos educativos, ou consequências, por forma a garantir a toda a criança ou jovem o seu pleno desenvolvimento, tal cenário indica certo grau de inequidade no sistema educativo português. O recrudescimento das taxas de retenção certamente agravará o grau de inequidade. Os resultado obtidos também sugerem que as crianças/jovens do sexo masculino apresentam maior probabilidade de retenção, que essa probabilidade é negativamente correlacionada com autoconceito e que crianças/jovens que frequentam escolas localizadas em cidades com dimensão populacional até 100 000 habitantes também têm menor probabilidade de retenção comparativamente com escolas localizadas em aldeias, em metrópoles ou em grandes metrópoles. A análise de dados do PISA foi realizada sob o pressuposto de valores omissos completamente aleatórios, pressuposto esse que pode não corresponder à realidade. Perante a inexistência de microdados anonimizados disponíveis para fins de investigação científica, a facilidade no acesso aos dados do PISA é um dos aspectos que o investigador português valoriza. Contudo, eles não colmatam aquela inexistência. Dependendo do objectivo do estudo, não devem ser esquecidas as limitações do PISA (e.g. Eivers, 2010; Goldstein, 2004; Klein, 2011). Uma limitação adicional deste trabalho pode surgir caso a mobilidade de alunos entre escolas não ocorra dentro do mesmo agrupamento ou entre escolas de agrupamentos com padrão semelhante no que concerne às variáveis incluídas na modelação estatística. Notas Agradeço a Domingos Fernandes pelos comentários e sugestões à primeira versão do artigo, à Patrícia Costa pela ajuda com a base de dados do PISA 2012, ao Luís Nunes e ao Ignacio Vazquez pela revisão das traduções do resumo, aos três revisores anónimos pelas sugestões de melhoria. Este trabalho foi parcialmente financiado pela Fundação para Ciência e Tecnologia através do projecto UID/Multi/00491/2013. Tópicos sobre Retenção em Portugal através do PISA 16 Referências Adams, D. (1993). Defining educational quality. Improving Educational Quality Project Publication - Biennial report. Pittsburgh. Retrieved from U.S. Agengy for International Development website http://pdf.usaid.gov/pdf_docs/PNACA245.pdf Barrett, A. M., Chawla-Duggan, R., Lowe, J., Nikel, J., & Ukpo, E. (2006). The concept of quality in education: A review of the “international” literature on the concept of quality in education. EdQual Working Paper, 3(3), 23. Behrman, J., & Birdsall, N. (1983). The quality of schooling. Quantity alone is misleading. American Economic Review, 73(5), 928–946. Brophy, J. (2006). Grade repetition. Paris: United Nations Educational, Scientific and Cultural Organization. Retrieved from the United Nations Educational, Scientific and Cultural Organization website http://www.unesco.org/iiep/PDF/Edpol6.pdf Conselho Nacional de Educação. (2015). Retenção Escolar nos Ensinos Básico e Secundário. (Conselho Nacional de Educação, Ed.). Lisboa: Conselho Nacional de Educação. Council of the European Union. (2011). Council Recommendation on policies to reduce early school leaving. Official Journal of the European Union, C 191, 1–6. Retrieved from EUR-Lex website http://eur-lex.europa.eu/legal- content/EN/TXT/PDF/?uri=OJ:C:2011:191:FULL&from=EN Davok, D. F. (2007). Qualidade em educação. Avaliação, Campinas, 12, 505–513. doi:10.1590/S1414- 40772007000300007 Delors, J., Al-Mufti, I., Amagi, I., Carneiro, R., Chung, F., Geremek, B., … Nanzhao, Z. (1996). Educação: um tesouro a descobrir - Relatório para a UNESCO da Comissão Internacional sobre Educação para o Séc. XXI [Learning: The treasure within]. Comissão Internacional sobre Educação. São Paulo: Cortez, Unesco, MEC. DGEEC. (n.d.). Conceitos para fins estatísticos das áreas temáticas “Educação” e “Formação". Lisboa: Ministério da Educação e Ciência. Retrieved from Direção-geral de Estatísticas da Educação e Ciência website http://www.dgeec.mec.pt/np4/27/ DGEEC. (2013). Educação em Números - Portugal 2013. Lisboa: Direção-Geral de Estatísticas da Educação e Ciência. Eide, E. R., & Showalter, M. H. (2001). The effect of grade retention on educational and labor market outcomes. Economics of Education Review, 20, 563–576. doi:10.1016/S0272- 7757(00)00041-8 Eisemon, T. O. (1997). Reducing repetition: Issues and strategies. Paris: United Nations Educational, Scientific and Cultural Organization IIEP. Eivers, E. (2010). PISA : Issues in implementation and interpretation. The Irish Journal of Education, 38(2010), 94–118. Retrieved from http://www.jstor.org/stable/20789130 Fernandes, D. (1992). O tempo da avaliação. Noesis, 23, 18–21. Fernandes, D. (2007). A avaliação das aprendizagens no Sistema Educativo Português. Educação E Pesquisa, 33(3), 581–600. doi:10.1590/S1517-97022007000300013 Ferrão, M. E. (2015). Modelos de regressão multinível em Educação e Psicologia. In M. C. R. Silva, D. Bartholomeu, C. M. M. Vendramini, & J. M. Montiel (Eds.), Métodos Estatísticos Avançados Aplicados à Psicologia e Educação. São Paulo: Vetor Editora. Ferrão, M. E., Beltrão, K. I., & Santos, D. (2002). Políticas de não-repetência e a qualidade da educação: evidências obtidas a partir da modelagem dos dados da 4asérie do SAEB-99. Estudos Em Avaliação Educacional, 26, 47–73. Ferrão, M. E., Beltrão, K. I., & Santos, D. P. (2007). O impacto da politica de não-repetência na Arquivos Analíticos de Políticas Educativas Vol. 23, No. 114 17 proficiência dos alunos da quarta série: um estudo sobre o Sudeste brasileiro. Revista Brasileira de Estatística, 68(229), 69–98. Ferrão, M. E., & Couto, A. P. (2014). The use of a school value-added model for educational improvement: a case study from the Portuguese primary education system. School Effectiveness and School Improvement, 25(1), 174–190. doi:10.1080/09243453.2013.785436 Ferrão, M. E., & Dias, M. (2010). A retenção dos alunos, a composição da escola e o desempenho em matemática: algumas pistas a partir do PISA [Repetition, school composition and performance in mathematics: some clues based on PISA]. In G. Ramalho (Ed.), Impacto das Avaliações Internacionais nos Sistemas Educativos (pp. 139–155). Lisboa: Conselho Nacional de Educação. Retrieved from Conselho da Educação website http://www.cnedu.pt/pt/publicacoes/seminarios-e-coloquios/741-impacto-das-avaliacoes- internacionais-nos-sistemas-educativos Freitas, M. A. T. (1947). A escolaridade média no ensino primário brasileiro. Revista Brasileira de Estatística, 8(30/31), 395–474. Ganzeboom, H. (2010). A new International Socio-Economic Index [Isei] of occupational status for the International Standard Classification of Occupation 2008 [Isco-08] constructed with data from the ISSP 2002-2007. In Annual Conference of International Social Survey Programme. Lisbon. Ganzeboom, H., De Graaf, P., & Treiman, D. (1992). A standard international socio-economic index of occupational status. Social Science Research, 21(1), 1–56. doi:10.1016/0049- 089X(92)90017-B Goldstein, H. (2003). Multilevel Statistical Models (3rd ed.). London: Edward Arnold. Goldstein, H. (2004). International comparisons of student attainment: some issues arising from the PISA study. Assessment in Education: Principles, Policy & Practice, 11(3), 319–330. doi:10.1080/0969594042000304618 Gomes-Neto, J. B., & Hanushek, E. a. (1994). Causes and consequences of grade repetition: Evidence from Brazil. Economic Development and Cultural Change, 43(1), 117. doi:10.1086/452138 Huddleston, A. P. (2014). Achievement at whose expense? A literature review of test-based retention policies in U.S. schools. Education Policy Analysis Archives, 22(18). Retrieved from http://dx.doi.org/10.14507/epaa.v22n18.2014 Klein, R. (2011). Uma re-análise dos resultados do PISA: problemas de comparabilidade. Ensaio: Aval.Pol.Públ.Educ, 19(73), 717–741. Klein, R., & Ribeiro, S. C. (1991). O censo educacional e o modelo de fluxo: o problema da repetência. Revista Brasileira de Estatística, 52(197/198), 5–45. Little, R. J. A., & Rubin, D. B. (2002). Statistical Analysis with Missing Data (2nd ed.). New Jersey: John Wiley & Sons Inc. Lyche, C. S. (2010). Taking on the completion challenge: a literature review on policies to prevent dropout and early school leaving. Organization for Economic Cooperation and Development Education Working Papers, 53. Ministério da Educação. Decreto-Lei no213/2006, Diário da República, 1asérie - no208 (2006). Ministério da Educação. Decreto-Lei no88/2007, Diário da República, 1a série, no63 (2007). Montmarquette, C., Viennot-Briot, N., & Dagenais, M. (2007). Dropout, school performance, and working while in School. Review of Economics and Statistics, 89(4), 752–760. doi:10.1162/rest.89.4.752 Mortimore, P., & Whitty, G. (1997). Can School Improvement Overcome the Effects of Disadvantage? London: Institute of Education. OECD. (2008). Growing unequal?: Income distribution and poverty in OECD Countries. OECD Publishing: Paris. doi: http://dx.doi.org/10.1787/9789264044197-en http://dx.doi.org/10.1787/9789264044197-en Tópicos sobre Retenção em Portugal através do PISA 18 OECD. (2013). PISA 2012 Results: Ready to learn: Students’ engagement, drive and self-beliefs (vol. III). OECD Publishing: Paris. doi: http://dx.doi.org/10.1787/9789264201170-en OECD. (2014a). PISA 2012 Results: what students know and can do – student performance in Mathematics, Reading and Science (vol.I, Revised edition, February 2014). OECD Publishing: Paris. doi: http://dx.doi.org/10.1787/9789264201118-en OECD. (2014b). PISA 2012 Technical report Programme for International Student Assessment (December 2014). Paris. Retrieved from Organization for Economic Cooperation and Development Education website http://www.oecd.org/pisa/pisaproducts/PISA-2012-technical-report- final.pdf Paul, J. (1997). Le redoublement à l’école: Une maladie universelle? International Review of Education, 43(5-6), 611–627. Pfeffermann, D., Skinner, C. J., Holmes, D. J., Goldstein, H., & Rasbash, J. (1998). Weighting for unequal selection probabilities in multilevel models. Journal of the Royal Statistical Society. Series B, 60(1), 23–40. Rasbash, J., Browne, W., Healy, M., Cameron, B., & Charlron, C. (2014). MLwiN 2.31. Bristol: Centre for Multilevel Modelling, University of Bristol. Rebelo, A. S., & Fonseca, C. (2009). Caracterização de alunos repetentes: Um estudo na região de Coimbra. Psychologica, 51, 189–208. Robitaille, D. F., & Donn, J. S. (1992). The Third International Mathematics and Science Study (TIMSS): A brief introduction. Educational Studies in Mathematics, 23(2), 203–210. doi:10.1007/BF00588056 Roderick, M. (1994). Grade retention and school dropout: Investigating the association. American Educational Research Journal, 31(4), 729–759. doi:10.3102/00028312031004729 Sammons, P., Hillman, J., & Mortimore, P. (1995). Key Characteristics of Effective Schools: a review of school effectiveness research. London: Office for Standards in Education (OFSTED). Sammons, P., Thomas, S., & Mortimore, P. (1997). Forging Links: Effective Schools and Effective Departments. London: Paul Chapman. Soares, J. (2004). Qualidade e eqüidade na educação básica brasileira: a evidência do SAEB-2001. Archivos Analíticos de Políticas Educativas, 12(38), 1–28. Suehiro, A. C. B., Rueda, F. J. M., Oliveira, E. Z., & Pacanaro, S. V. (2009). Avaliação do Autoconceito no Contexto Escolar: Análise das Publicações em Periódicos Brasileiros. Psicologia: Ciência E Profissão, 29(1), 18–29. UNESCO. (1990). Declaração Mundial sobre Educação para Todos : satisfação das necessidades básicas de aprendizagem. Retrieved from United Nations Educational, Scientific and Cultural Organization website http://unesdoc.unesco.org/images/0008/000862/086291por.pdf UNESCO. (2000). The Dakar Framework for Action: Education for All. Dakar Senegal. Paris: United Nations Educational, Scientific and Cultural Organization. UNESCO. (2005). Education for all: the quality imperative. Education. Retrieved from United Nations Educational, Scientific and Cultural Organization website http://www.unesco.org/new/en/education/themes/leading-the-international- agenda/efareport/reports/2005-quality/ Arquivos Analíticos de Políticas Educativas Vol. 23, No. 114 19 Sobre a Autora Maria Eugénia Ferrão Universidade da Beira Interior meferrao@ubi.pt ORCID: http://orcid.org/0000-0002-1317-0629 Maria Eugénia Ferrão é professora auxiliar com agregação em Métodos Quantitativos, desenvolve a sua actividade na Universidade da Beira Interior onde integra o Conselho Geral como representante do corpo de docentes e investigadores, é investigadora do Centro de Matemática Aplicada à Previsão e Decisão Económica (CEMAPRE), é visiting fellow da Graduate School of Education/University of Bristol. Tem desenvolvido investigação em métodos estatísticos para ciências sociais e as principais áreas de interesse são as seguintes: modelo de regressão multinível, análise de dados longitudinais, erro da medida, modelo de valor acrescentado em educação, indicadores de desempenho, avaliação e aferição educacional. arquivos analíticos de políticas educativas Volume 23 Número 114 23 de novembro 2015 ISSN 1068-2341 O Copyright e retido pelo/a o autor/a (ou primeiro co-autor) que outorga o direito da primeira publicação à revista Arquivos Analíticos de Políticas Educativas. Más informação da licença de Creative Commons encontram-se em http://creativecommons.org/licenses/by-nc-nd/2.5. Qualquer outro uso deve ser aprovado em conjunto pelo/s autor/es e por AAPE/EPAA. AAPE/EPAA é publicada por Mary Lou Fulton Institute Teachers College da Arizona State University . Os textos publicados em AAPE são indexados por CIRC (Clasificación Integrada de Revistas Científicas, Espanha) DIALNET (Espanha),Directory of Open Access Journals, Education Full Text (H.W. Wilson), EBSCO Education Research Complete, , ERIC, , QUALIS A2 (Brasil), SCImago Journal Rank; SCOPUS, SOCOLAR (China). Contribua com comentários e sugestões a http://epaa.info/wordpress/ ou para Gustavo E. Fischman fischman@asu.edu. Curta a nossa comunidade EPAA’s Facebook https://www.facebook.com/EPAAAAPE e Twitter feed @epaa_aape. http://www.doaj.org/ http://www.doaj.org/ http://epaa.info/wordpress/ mailto:fischman@asu.edu https://www.facebook.com/EPAAAAPE Tópicos sobre Retenção em Portugal através do PISA 20 arquivos analíticos de políticas educativas conselho editorial Editor: Gustavo E. Fischman (Arizona State University) Editores Associados: Rosa Maria Bueno Fisher e Luis A. Gandin (Universidade Federal do Rio Grande do Sul) Dalila Andrade de Oliveira Universidade Federal de Minas Gerais, Brasil Jefferson Mainardes Universidade Estadual de Ponta Grossa, Brasil Paulo Carrano Universidade Federal Fluminense, Brasil Luciano Mendes de Faria Filho Universidade Federal de Minas Gerais, Brasil Alicia Maria Catalano de Bonamino Pontificia Universidade Católica-Rio, Brasil Lia Raquel Moreira Oliveira Universidade do Minho, Portugal Fabiana de Amorim Marcello Universidade Luterana do Brasil, Canoas, Brasil Belmira Oliveira Bueno Universidade de São Paulo, Brasil Alexandre Fernandez Vaz Universidade Federal de Santa Catarina, Brasil António Teodoro Universidade Lusófona, Portugal Gaudêncio Frigotto Universidade do Estado do Rio de Janeiro, Brasil Pia L. Wong California State University Sacramento, U.S.A Alfredo M Gomes Universidade Federal de Pernambuco, Brasil Sandra Regina Sales Universidade Federal Rural do Rio de Janeiro, Brasil Petronilha Beatriz Gonçalves e Silva Universidade Federal de São Carlos, Brasil Elba Siqueira Sá Barreto Fundação Carlos Chagas, Brasil Nadja Herman Pontificia Universidade Católica – Rio Grande do Sul, Brasil Manuela Terrasêca Universidade do Porto, Portugal José Machado Pais Instituto de Ciências Sociais da Universidade de Lisboa, Portugal Robert Verhine Universidade Federal da Bahia, Brasil Wenceslao Machado de Oliveira Jr. Universidade Estadual de Campinas, Brasil Antônio A. S. Zuin University of York Arquivos Analíticos de Políticas Educativas Vol. 23, No. 114 21 education policy analysis archives editorial board Editor Gustavo E. Fischman (Arizona State University) Associate Editors: Audrey Amrein-Beardsley (Arizona State University), Kevin Kinser (State University of New York, Albany Jeanne M. Powers (Arizona State University) Jessica Allen University of Colorado, Boulder Jaekyung Lee SUNY Buffalo Gary Anderson New York University Christopher Lubienski University of Illinois, Urbana-Champaign Michael W. Apple University of Wisconsin, Madison Sarah Lubienski University of Illinois, Urbana- Champaign Angela Arzubiaga Arizona State University Samuel R. Lucas University of California, Berkeley David C. Berliner Arizona State University Maria Martinez-Coslo University of Texas, Arlington Robert Bickel Marshall University William Mathis University of Colorado, Boulder Henry Braun Boston College Tristan McCowan Institute of Education, London Eric Camburn University of Wisconsin, Madison Michele S. Moses University of Colorado, Boulder Wendy C. Chi Jefferson County Public Schools in Golden, Colorado Julianne Moss Deakin University Casey Cobb University of Connecticut Sharon Nichols University of Texas, San Antonio Arnold Danzig California State University, San Jose Noga O'Connor University of Iowa Antonia Darder Loyola Marymount University João Paraskveva University of Massachusetts, Dartmouth Linda Darling-Hammond Stanford University Laurence Parker University of Utah Chad d'Entremont Rennie Center for Education Research and Policy Susan L. Robertson Bristol University John Diamond Harvard University John Rogers University of California, Los Angeles Tara Donahue McREL International A. G. Rud Washington State University Sherman Dorn Arizona State University Felicia C. Sanders Institute of Education Sciences Christopher Joseph Frey Bowling Green State University Janelle Scott University of California, Berkeley Melissa Lynn Freeman Adams State College Kimberly Scott Arizona State University Amy Garrett Dikkers University of North Carolina Wilmington Dorothy Shipps Baruch College/CUNY Gene V Glass Arizona State University Maria Teresa Tatto Michigan State University Ronald Glass University of California, Santa Cruz Larisa Warhol Arizona State University Harvey Goldstein University of Bristol Cally Waite Social Science Research Council Jacob P. K. Gross University of Louisville John Weathers University of Colorado, Colorado Springs Eric M. Haas WestEd Kevin Welner University of Colorado, Boulder Kimberly Joy Howard University of Southern California Ed Wiley University of Colorado, Boulder Aimee Howley Ohio University Terrence G. Wiley Center for Applied Linguistics Craig Howley Ohio University John Willinsky Stanford University Steve Klees University of Maryland Kyo Yamashiro Los Angeles Education Research Institute Tópicos sobre Retenção em Portugal através do PISA 22 archivos analíticos de políticas educativas consejo editorial Editores: Gustavo E. Fischman (Arizona State University), Jason Beech (Universidad de San Andrés), Alejandro Canales (UNAM) y Jesús Romero Morante (Universidad de Cantabria) Armando Alcántara Santuario IISUE, UNAM México Fanni Muñoz Pontificia Universidad Católica de Perú, Claudio Almonacid University of Santiago, Chile Imanol Ordorika Instituto de Investigaciones Economicas – UNAM, México Pilar Arnaiz Sánchez Universidad de Murcia, España Maria Cristina Parra Sandoval Universidad de Zulia, Venezuela Xavier Besalú Costa Universitat de Girona, España Miguel A. Pereyra Universidad de Granada, España Jose Joaquin Brunner Universidad Diego Portales, Chile Monica Pini Universidad Nacional de San Martín, Argentina Damián Canales Sánchez Instituto Nacional para la Evaluación de la Educación, México Paula Razquin Universidad de San Andrés, Argentina María Caridad García Universidad Católica del Norte, Chile Ignacio Rivas Flores Universidad de Málaga, España Raimundo Cuesta Fernández IES Fray Luis de León, España Daniel Schugurensky Arizona State University, Estados Unidos Marco Antonio Delgado Fuentes Universidad Iberoamericana, México Orlando Pulido Chaves Instituto para la Investigacion Educativa y el Desarrollo Pedagogico IDEP Inés Dussel DIE-CINVESTAV, Mexico José Gregorio Rodríguez Universidad Nacional de Colombia Rafael Feito Alonso Universidad Complutense de Madrid. España Miriam Rodríguez Vargas Universidad Autónoma de Tamaulipas, México Pedro Flores Crespo Universidad Iberoamericana, México Mario Rueda Beltrán IISUE, UNAM México Verónica García Martínez Universidad Juárez Autónoma de Tabasco, México José Luis San Fabián Maroto Universidad de Oviedo, España Francisco F. García Pérez Universidad de Sevilla, España Yengny Marisol Silva Laya Universidad Iberoamericana, México Edna Luna Serrano Universidad Autónoma de Baja California, México Aida Terrón Bañuelos Universidad de Oviedo, España Alma Maldonado DIE-CINVESTAV México Jurjo Torres Santomé Universidad de la Coruña, España Alejandro Márquez Jiménez IISUE, UNAM México Antoni Verger Planells University of Barcelona, España Jaume Martínez Bonafé, Universitat de València, España José Felipe Martínez Fernández University of California Los Angeles, Estados Unidos Mario Yapu Universidad Para la Investigación Estratégica, Bolivia