Contratos de impacto social na rede estadual de São Paulo: Nova modalidade de parceria público-privada no Brasil: Comentário Página web: http://epaa.asu.edu/ojs/ Artigo recebido: 11/11/2019 Facebook: /EPAAA Revisões recebidas: 1/5/2020 Twitter: @epaa_aape Aceito: 1/5/2020 arquivos analíticos de políticas educativas Revista acadêmica, avaliada por pares, independente, de acesso aberto, e multilíngue Arizona State University Volume 28 Número 111 3 de agosto de 2020 ISSN 1068-2341 Contratos de Impacto Social na Rede Estadual de São Paulo: Nova Modalidade de Parceria Público-Privada no Brasil: Comentário Sérgio G. Lazzarini Insper Brasil Citação: Lazzarini, S. G. (2020). Contratos de impacto social na rede estadual de São Paulo: Nova modalidade de parceria público-privada no Brasil: Comentário. Arquivos Analíticos de Políticas Educativas, 28(11). https://doi.org/10.14507/epaa.28.5248 Resumo: Esse texto apresenta comentários ao artigo de Cássio, Goulart e Ximenes (2018), que analisa as bases técnicas e éticas que conduziram ao contrato de impacto social no contexto da Secretaria de Estado da Educação de São Paulo (SEE), levado para consulta pública ao final de 2017. À luz de fatos e da literatura especializada, apresentam-se comentários críticos sobre a interpretação de Cássio et al. (2018) dos eventos reportados, com foco em três pontos principais: entendimento do que é um contrato de impacto social; o envolvimento e a autonomia das escolas; e a metodologia sugerida para avaliação de impacto. Palavras-chave: Contrato de Impacto Social; Ensino Médio; Colaboração Público-Privada; Avaliação de Impacto Social impact bonds in São Paulo’s state public school system: New modality of public-private partnership in Brazil: Commentary Abstract: This article provides comments to the paper by Cássio, Goulart e Ximenes (2018), which analyzes the technical and ethical bases of the social impact bond developed in the context of the Department of Education of the Stat e of São Paulo, Brazil, which http://epaa.asu.edu/ojs/ https://doi.org/10.14507/epaa.28.5248 Contratos de impacto social na rede estadual de São Paulo: Comentário 2 went to public consultation in 2017. Based on facts and on the relevant technical literature, the comments raise several critical issues related to how Cássio et al. (2018) interpreted the reported events, with an emphasis on three aspects: understanding of the purposes of social impact bonds; the involvement and autonomy of the schools; and the methodology that was suggested to evaluate impact. Keywords: Social Impact Bond; Secondary Education; Public-Private Collaboration; Impact Assessment Bonos de impacto social en las escuelas públicas del estado de São Paulo: Nueva modalidad de asociación público-privada en Brasil: Comentario Resumen: Este artículo presenta comentarios al artículo de Cássio, Goulart e Ximenes (2018), que analiza las bases técnicas y éticas del bono de impacto social desarrollado en el contexto del Departamento de Educación del Estado de São Paulo, Brasil, que fue a consulta pública en 2017. Basados en hechos y en la literatura técnica relevante, los comentarios plantean varias cuestiones críticas relacionadas con la forma en que Cássio et al. (2018) interpretaron los eventos reportados, con énfasis en tres aspectos: comprensión de los propósitos de los bonos de impacto social; la implicación y autonomía de las escuelas; y la metodología sugerida para evaluar el impacto. Palabras-clave: Bono de Impacto Social; Educación Secundaria; Colaboración Público - Privada; Evaluación de Impacto Introdução Nesse artigo, apresento uma série de comentários ao artigo de Cássio, Goulart e Ximenes (2018), que analisa o contrato de impacto social (CIS) desenvolvido no contexto da Secretaria de Estado da Educação de São Paulo (SEE). Nesse sentido, a seguir procurarei me ater a pontos críticos levantados pelos autores e discutir esses pontos à luz de fatos envolvidos no processo e da literatura especializada no tema. Em particular, colocarei ênfase em três aspectos principais que merecem debate e esclarecimento, em função do que transparece na interpretação dos autores sobre o referido CIS: entendimento do que é um contrato de impacto social; o envolvimento e a autonomia das escolas; e a metodologia sugerida para avaliação de impacto. Entendimento do que é o CIS Cássio et al. (2018) explicitam a sua visão do mecanismo de CIS na seguinte passagem: O CIS representa um passo adiante no contexto conhecido da privatização da educação, ao incorporar a essa dinâmica agentes financeiros interessados em capitalizar com intervenções de “impacto social” nas redes públicas de ensino e que, em uma nova modalidade de roleta financeira, apostam contra o Estado, uma vez que as taxas de retorno do projeto dependem diretamente da diferença de resultados entre escolas do “grupo de tratamento” e do “grupo de controle”. Diferentemente da filantropia tradicional, que se legitima no pretenso caráter não- lucrativo de suas ações, o CIS abre uma oportunidade de mercado, um novo “edunegócio” (Robertson & Verger, 2012; pp. 6-7, ênfase no texto original). Arquivos Analíticos de Políticas Educativas Vol. 28, No. 112 3 Há vários pontos que merecem debate a partir desse entendimento expresso pelos autores. Não se sustenta a afirmação de que os investidores do projeto “apostam contra o Estado”. As escolas que receberão a intervenção são escolas do Estado. Assim, não há razão para os investidores “apostarem contra” políticas que beneficiem o sistema como um todo, dado que essas políticas irão não apenas beneficiar as escolas de comparação fora do escopo do CIS (o “grupo de controle”), como também aquelas que forem selecionadas para o projeto (o “grupo de tratamento”). O que os investidores e provedores de serviço devem demonstrar é se as suas ações geram impacto adicional ao que provavelmente aconteceria sem o CIS. (Expandirei esse ponto mais à frente no artigo.) Além disso, segundo as metas estabelecidas no CIS, os investidores apresentam maiores chances de receberem pagamento por parte do governo quando geram maior impacto social, medido pela taxa de conclusão dos alunos no tempo previsto no ensino médio (três anos) em escolas da rede pública. A obtenção de maior impacto representa maior chance de o poder público melhorar os resultados para a população-alvo formada por indivíduos de alta vulnerabilidade. Ora, se os investidores são remunerados de acordo com metas de conclusão no ensino médio, que são por sua vez valorizadas pela população-alvo e por políticas públicas, então a sua orientação racional seria apostar a favor do Estado, ou seja, se esforçar com ações que ajudem a reduzir evasão e reprovação. Em outras palavras, ao invés de causar desalinhamento de interesses entre atores públicos e privados, o CIS em realidade elimina lacunas contratuais em serviços públicos (Hart et al., 1997), dado que estabelece pagamentos atrelados a indicadores desempenho mensuráveis e de impacto positivo sobre a população-alvo. Não sendo atingidas as metas, os investidores não recebem pelo seu aporte e o governo não precisa pagar por um serviço que não trouxe resultados de interesse público. Nessa linha, há também importantes ressalvas sobre como os autores enxergam o papel dos investidores e, de forma mais ampla, dos atores privados envolvidos no processo. Como se sabe, os agentes financeiros ponderam risco e retorno nas suas decisões de investimento. Tudo o mais constante, havendo maior risco, a atratividade de um determinado investimento cai substancialmente. Simulações sobre o retorno do projeto indicavam que, de fato, uma pequena variação no desempenho do projeto poderia levar a uma rentabilidade negativa aos investidores privados. Isso não é de se estranhar, uma vez que os CIS, desde a sua concepção, sempre tiveram como traço marcante a transferência de risco do governo para os investidores (Del Giudice & Migliavacca, 2019). Mais ainda, em conversas ao redor do momento de consulta pública (ao final de 2017), investidores que apoiariam os provedores de serviço concordaram com uma remuneração em patamares muito abaixo daquilo que conseguiriam caso investissem seus recursos no mercado financeiro convencional. Investidores com esse perfil são conhecidos como “investidores de impacto” (Mudaliar et al., 2017). Pesquisas têm indicado que investidores com orientação de impacto têm aceito remuneração abaixo dos padrões de mercado, estando dispostos a aceitar menor retorno caso o projeto tenha ênfase em atividades socioambientais (Barber, Morse, & Yasuda, 2018). Em outra passagem, citando um artigo prévio, os autores também questionam o envolvimento de provedores privados nos serviços previstos pelo CIS: Ximenes et al. (2017) apontam que há grande coincidência entre o período de divulgação do CIS (Nov. 2017) e a disseminação, no caderno Mercado do jornal Folha de S. Paulo, de propostas de tecnologias educacionais aplicáveis ao CIS, em fase de teste ou de implantação em outros estados e patrocinadas pelo mesmo grupo de fundações e institutos empresariais mobilizados pelo Insper Metricis (p. 5). Se a insinuação é que o CIS favoreceria empresas de tecnologia específicas, vale lembrar que o processo seria definido com licitação e que não há, na Minuta do Edital escrutinado durante a etapa Contratos de impacto social na rede estadual de São Paulo: Comentário 4 de consulta pública (Secretaria de Estado da Educação de São Paulo, 2017), qualquer indicação sobre tecnologias específicas a serem adotadas.1 Além disso, como discutido a seguir, a minuta deixa claro que as ações deveriam ser integradas às diretrizes de cada escola, e não o contrário. Envolvimento e Autonomia das Escolas Outra crítica é que o CIS proposto feriu a autonomia das escolas, ainda que um dos princípios do projeto foi garantir que a sua adesão fosse voluntária ao invés de imposta pela SEE. Escrevem os autores: A análise das atas indica que o procedimento de adesão ao CIS por parte das escolas foi meramente formal, sem que fosse disponibilizado um conjunto de informações qualificadas e sem tempo hábil para um debate satisfatório do projeto (p. 16). A afirmação não descreve adequadamente o processo conduzido pela SEE. De fato, além de realizar reuniões com diretorias de ensino, os técnicos da SEE envolvidos na elaboração do projeto prepararam materiais de comunicação e estabeleceram vários pontos de contato, deixando claro que a adesão ao projeto seria livre e voluntária. O processo não foi realizado sem comunicação e nem tampouco imposto. Além disso, foi feita consulta pública ao final de 2017, onde houve espaço para manifestações diversas que poderiam levar a ajustes do contrato, dos pagamentos e até mesmo na forma de envolvimento das escolas, muitas dessas incorporadas na versão do edital que seria lançado ainda no primeiro semestre de 2018. Relacionado a esse ponto e à crítica anteriormente citado sobre possível “privatização” da educação, os autores sugerem que o CIS retirou da gestão pública diversas atribuições relevantes: No CIS da educação paulista, transfere-se parcialmente a relação pedagógica com famílias e estudantes, bem como o controle de frequência e de rendimento acadêmico, para a instituição privada contratada (p. 8). Afirmam, adicionalmente: (...) tanto nas 600 páginas do processo (SEE-SP, 2017c) quanto na Minuta divulgada (SEE-SP, 2017a), a atribuição das escolas se resume a acompanhar a execução dos serviços como apoiadoras do projeto, a apresentar relatórios com os dados solicitados, a designar profissional para acompanhar as intervenções e a oferecer espaços físicos para as ações da contratada (SEE-SP, 2017a, p. 84; SEESP, 2017c, fl. 135, p. 18). Essas afirmações não são consistentes com os fatos. O CIS proposto envolve dois eixos: ações com as famílias e ações com os alunos. Há um item específico na Minuta do Edital (Secretaria de Estado da Educação de São Paulo, 2017), que está citada na lista de referências de Cássio et al. (2018), falando sobre “Interligação com o planejamento escolar”: “As ações nos eixos de família e aluno serão interligadas ao planejamento escolar de forma a garantir sinergia com as atividades gerais da escola, potencializando, dessa forma, as iniciativas já realizadas pela direção e professores, com ou sem apoio de entidades privadas” (p. 20). Além disso, a Minuta de Contrato, como Anexo V da Minuta do Edital que foi a consulta pública (Secretaria de Estado da Educação de São Paulo, 2017) estabelece que é vedado à contratada “atuar dentro das salas de aula durante o horário letivo ou ministrar aulas que sejam da grade 1 Sobre o enquadramento jurídico do contrato e a possibilidade de contratação por metas de impacto e não de prestações específicas, ver Monteiro e Rosilho (2017). Arquivos Analíticos de Políticas Educativas Vol. 28, No. 112 5 curricular do Estado, a menos que haja expresso consentimento da direção da escola” (p. 91). O contrato também proíbe “que seus profissionais interfiram diretamente em aspectos pedagógicos e de gestão escolar, a menos que haja expresso consentimento da direção da escola, hipótese em que tal atuação deverá ocorrer de forma relacionada com as ações e objetivos deste Contrato” (Anexo da Minuta do Edital, p. 91). Essa orientação geral também aparece nas atividades previstas para cada eixo, voltado às famílias e aos alunos. No primeiro caso, a Minuta do Edital (Secretaria de Estado da Educação de São Paulo, 2017) deixa claro que: “Em casos cuja escola já tenha programas no eixo das famílias (como o Programa Escola da Família e o Sistema de Proteção Escolar), as ações previstas devem ser estabelecidas de forma a complementar e aumentar a eficácia dessas iniciativas. Adicionalmente, nas escolas em que existe o chamado Professor Mediador, será preciso integrá-lo à equipe da escola que irá tratar com a família, como uma das figuras chaves para esse contato” (p. 19). Já no eixo aluno: “Em casos cuja escola já tenha programas no eixo individual do aluno, as ações previstas devem ser estabelecidas de forma a complementar e aumentar a eficácia dessas iniciativas” (item 6.2.4, p. 20). Há, portanto, farta indicação de que o provedor de serviço selecionado pelo processo licitatório deveria seguir atribuições definidas pela SEE e pela equipe das escolas, o que entra em choque com a caracterização sugerida por Cássio et al. (2018), pela qual o CIS seria um mecanismo que limitaria a autonomia escolar. Em realidade, o CIS é melhor concebido com um contrato de colaboração com atividades bem delimitadas para o provedor privado, com ação central de supervisão e regulação pelo Estado e com troca esperada de conhecimentos entre os gestores públicos e o provedor de serviços (ver por exemplo, Cabral et al., 2013). A Metodologia de Cômputo de Impacto Uma das principais críticas dos autores (p. 11) é que a avaliação dos resultados do CIS seria um tipo de “experimento social”: São vastos os debates sobre métodos experimentais nas ciências sociais, no campo de políticas públicas e também na educação. De um ponto de vista metodológico, a ideia de “controle de variáveis” em experimentos sociais é bastante problemática (fenômenos complexos, contexto-dependentes). Do ponto de vista ético, a própria ideia de “experimento social” é problemática (Goldstein, 2013), dando lugar, na prática, a abordagens quase- experimentais baseadas na coleta e na interpretação de dados públicos. Técnicas de pareamento podem ser utilizadas para construir amostras comparáveis, mimetizando, na medida do possível, algumas condições de controle experimental. (Travitzki & Cássio, 2017, p. 162) Os autores têm razão de que metodologias experimentais, com as que propostas pelo CIS, podem ter implicações éticas quando certos grupos podem não receber as intervenções previstas em uma determinada política (Donaldson et al., 2015). Como quase toda forma de avaliação, os métodos experimentais têm prós e contras. Porém, dado que existia limitação de recursos para implementar os investimentos previstos no CIS e que se tratava de projeto-piloto (cujo impacto deveria ser avaliado), de toda forma deveria ser feita uma seleção de quais escolas receberiam as ações adicionais de apoio às famílias e aos alunos. Quando os autores mencionam técnicas quase-experimentais e escrevem que “técnicas de pareamento podem ser utilizadas para construir amostras comparáveis” (p. 11), eles estão, segundo sua própria definição, descrevendo um quase-experimento social: ao invés de sorteio, haveria alguém Contratos de impacto social na rede estadual de São Paulo: Comentário 6 que selecionaria as escolas elegíveis, criando, posteriormente, um grupo de comparação de escolas que não foram selecionados. Surgiriam, nesse caso, dois problemas centrais. Primeiro, os critérios de seleção deveriam ser definidos para evitar alegação de favoritismo ou viés. Quem selecionaria as escolas e com quais critérios? Segundo, como o pareamento na abordagem quase-experimental se daria por meio de variáveis observáveis, aumentaria substancialmente o possível viés no cálculo do impacto devido a variáveis não observáveis (Angrist & Pischke, 2009; Duflo et al., 2008). Por exemplo, podem ser selecionadas as escolas com fatores sociais ou locais mais favoráveis, aumentando as chances de o projeto gerar “impacto”, ainda que mais em função desses fatores do que da própria atuação do provedor de serviço do CIS. Em outras palavras, o Estado poderia erroneamente remunerar o provedor por um resultado que ele efetivamente não causou. Os autores também têm razão quando ressaltam que a maior parte dos CIS no mundo usam apenas comparação com dados históricos (p. 12), ou seja, sem presença de grupo de controle. Mais precisamente, segundo a base de dados que o Insper Metricis tem coletado sobre contratos com estrutura de pagamento por resultados socioambientais (Lazzarini et al., 2019a), cerca de 70,32% dos casos com dados sobre o método de avaliação envolvem apenas metas de melhoria em relação a dados históricos. Uma possível explicação é que a observação de dados históricos é relativamente mais simples de ser feita, ao passo que métodos experimentais ou quase-experimentais requerem um desenho mais acurado e trabalhoso. A outra possível explicação, que avançamos em um estudo em andamento (Lazzarini et al., 2019b), é que a presença de grupos de controle e os testes estatísticos associados criam um risco de que o impacto do contrato, ainda que positivo, possa não ser estatisticamente detectável – o que não se aplica ao caso do CIS na SEE, dado que foram feitos cálculos de poder estatístico para garantir um razoável poder de detecção, conforme descrito na Minuta do Edital (Secretaria de Estado da Educação de São Paulo, 2017). A medição dos resultados dos CIS com base em metas históricas, contudo, não é livre de críticas. Por exemplo, em 2013 o Estado de Utah, nos Estados Unidos, lançou um CIS financiado pelo banco Goldman Sachs e pela J.B. & M.K. Pritzker Family Foundation, a fim de apoiar projetos para pré-escola. As metas contratuais foram estabelecidas com base em testes de aprendizagem das crianças que receberam o apoio previsto pelo CIS, não havendo grupo de controle. Ainda que as metas do contrato tenham sido alcançadas, houve críticas à forma de medição. Um dos questionamentos foi se o resultado medido foi efetivamente causado pelos investidores e seus contratados. Nas palavras de um pesquisador na área de educação que acompanhou o projeto: “Se nós tivéssemos os dados—se pudéssemos acompanhar crianças sem a intervenção—então poderíamos chegar a uma ideia mais clara do que está acontecendo” (Popper, 2015). Tendo em vista que se trata de assunto complexo e com vários desdobramentos, a decisão final sobre o método de cálculo do impacto coube à SEE. Foi feita uma reunião com gestores e técnicos da SEE e foram expostos os prós e contras de cada abordagem, conforme discutido acima. Ao final, a SEE optou por seguir com a medição por meio de metodologia experimental como forma de assegurar o eventual pagamento a ações efetivamente geradas pelos provedores, evitando, assim, o dispêndio de recursos públicos de forma injustificada. Vale notar que o planejamento da metodologia experimental não representou custo extra ao Estado, dado que o desenho da medição (de forma experimental ou não) já estava incorporado como atribuição da equipe técnica envolvida no projeto. Tampouco exigiria gastos adicionais de coleta de dados, pois as informações que seriam usadas para o cálculo de impacto são rotineiramente registradas nos sistemas da SEE. Um aspecto relevante nesse âmbito é que a metodologia experimental tem sido usada em várias iniciativas na educação pública, com ou sem parceria com organizações privadas. Um exemplo é o projeto “Jovem de Futuro”, realizando sorteio para definir escolas de ensino médio em vários Estados que são apoiadas com metodologias gerenciais (Paes de Barros et al., 2012). Outro exemplo Arquivos Analíticos de Políticas Educativas Vol. 28, No. 112 7 é a Portaria no. 1.023 do Ministério de Educação, de 4 de outubro de 2018,2 que estabeleceu a metodologia experimental como forma de avaliar o Programa de Fomento às Escolas de Ensino Médio em Tempo Integral (EMTI). Segundo a Portaria, Artigo 2º: “Parte das escolas selecionadas nesta Portaria para recebimento do EMTI serão indicadas pelas unidades da Federação e parte será selecionada por sorteio, a fim de que seja viabilizada tecnicamente a realização de uma avaliação de impacto do Programa, com o objetivo de fortalecer e qualificar o processo de produção de políticas públicas educacionais baseadas em evidências no Brasil.” Logo, não é uma metodologia estranha ao contexto educacional, sendo já conhecida e adotada em governos de diversas esferas no Brasil. Em outra passagem, os autores criticam mais diretamente uma recomendação do Insper Metricis: “Certificar que não serão implantadas iniciativas relevantes durante o período do CIS que afetarão diferentemente os grupos de controle e grupos de tratamento ou que possam afetar a eficácia das intervenções definidas para o CIS. Havendo qualquer ação nesse sentido, a SEE deve comunicar a Contratada e investidor sobre eventuais mudanças nos planos de programas nas escolas durante o período do projeto (SEESP, 2017c, fls. 252-253) (p. 12). E dizem (p. 12): ... não deixa de ser interessante observar que o agente privado não se constrange em sugerir que o Estado contratualize a não implantação de programas relevantes nas escolas por ele geridas, o que colide com a sua obrigação constitucional de garantir o direito social à educação com padrão de qualidade no ensino. De fato, a maneira mais rigorosa de isolar os efeitos das intervenções no grupo de tratamento seria a não realização de qualquer outro programa estatal nas escolas de controle. Trata-se de uma interpretação muito particular e incorreta da sugestão do Insper Metricis. A recomendação deixa claro que o cuidado deve ser tomado no caso de iniciativas que afetem diferentemente os grupos tratados e de controle. Se existirem programas afetando igualmente todas as escolas, ainda assim o CIS pode obter impacto adicional, dado que irá promover ações para além do que é feito no grupo de controle. Essa possibilidade esteve presente em vários momentos do projeto. Em desenhos iniciais, além dos eixos envolvendo famílias e alunos, era previsto um eixo de apoio à gestão da escola (por exemplo, estabelecimento de planos de ação e indicadores de monitoramento de repetência e evasão). A pedido da SEE, esse ponto foi retirado do rol de ações previstas do contrato, dado que se pretendia ampliar o projeto de apoio à gestão chamado de “Método de Melhoria de Resultados” (MMR), explicitamente mencionado na Minuta do Edital (Secretaria de Estado da Educação de São Paulo, 2017). Em nenhum momento a equipe do Insper Metricis se opôs à ideia da SEE em ampliar esse programa, e nem poderia, uma vez que a definição de políticas públicas é prerrogativa do Estado. Em meio a esse debate, e à luz dos comentários obtidos na consulta pública (encerrada no início de 2018), várias alternativas para a avaliação do impacto do projeto poderiam ser consideradas. Primeiro, as ações previstas no CIS poderiam, a princípio, ser implementadas em toda a rede pública. Mas não havia, pelo menos que eu tenha conhecimento, recursos suficientes para executar as ações nos dois eixos do CIS (família e alunos), em escala abrangendo o Estado de São Paulo como um todo. Além disso, havia o desejo de tratar o CIS como um projeto-piloto cujos resultados pudessem ser observados e medidos. Havendo resultados positivos, as iniciativas poderiam ser ampliadas para mais escolas. Outra alternativa seria manter o CIS, mas mudar a forma de medição do impacto. Se há uma aversão a o que os autores denominam de “experimento social”, poderia ter sido proposta uma 2 Consulte (acesso em 7 de outubro de 2019). Contratos de impacto social na rede estadual de São Paulo: Comentário 8 forma alternativa de acompanhar os resultados do projeto, seja por meio de séries históricas ou outros métodos mais diretos de monitoramento de indicadores. Nesse caso, entretanto, há que se discutir os riscos de fatores não-observáveis enviesarem a medição do impacto, fazendo o Estado pagar por um resultado que não foi causado pelo provedor de serviço. A alternativa escolhida, muito em função das críticas que o projeto recebeu de alguns dos autores e de grupos de pressão (como a APEOESP – Sindicato dos Professores do Ensino Oficial do Estado de São Paulo), foi abortar a iniciativa do CIS. Ao final, o setor público deixou de avaliar a aplicabilidade de um mecanismo que tem sido usado em várias atividades públicas ao redor do mundo, inclusive em educação. Tão ou ainda mais importante, cerca de 12 mil alunos e suas famílias em condições vulneráveis ficaram ser receber o apoio previsto pelo projeto. As implicações éticas desse resultado mereceriam ser discutidas com detalhe e profundidade pelos autores. Agradecimentos Agradeço os comentários de Diogo Bardhal, Sandro Cabral, Vera Monteiro e Isabel Opice. Para fins de transparência, ressalto que o núcleo que eu coordeno, Insper Metricis, por várias vezes citados no artigo, participou dos trabalhos técnicos que conduziram ao referido. O projeto técnico foi elaborado a partir de uma parceria entre o Insper Metricis e a Social Finance UK. Os recursos para o estudo técnico vieram de apoio do Banco Interamericano de Desenvolvimento. No meu caso específico, apesar de o Insper Metricis ter recebido apoio para a constituição de equipe de pesquisadores e analistas, participei do projeto sem remuneração (pro bono). Eventuais erros e omissões nesse texto são de minha inteira responsabilidade. Referências Angrist, J., & Pischke, J. S. (2009). Mostly harmless econometrics. Princeton University Press. https://doi.org/10.1515/9781400829828 Barber, B. M., Morse, A., & Yasuda, A. 2018. Impact investing: Disponível em (acesso em 16/10/2019). Cabral, S., Lazzarini, S. G., & Azevedo, P. F. (2013). Private entrepreneurs in public services: A longitudinal study of outsourcing and statization in prisons. Strategic Entrepreneurship Journal, 7(1), 6-25. https://doi.org/10.1002/sej.1149 Cássio, F. L., Goulart, D. C., & Ximenes, S. B. (2018). Contratos de Impacto Social na rede estadual de São Paulo: Nova modalidade de parceria público-privada no Brasil. Arquivos Analíticos de Políticas Educativas, 26(130). https://doi.org/10.14507/epaa.26.3711 Del Giudice, A., & Migliavacca, M. (2019). Social Impact Bonds and institutional investors: An empirical analysis of a complicated relationship. Nonprofit and Voluntary Sector Quarterly, 48(1), 50-70. https://doi.org/10.1177/0899764018797480 Donaldson, S. I., Christie, C. A., & Mark, M. M. (Eds.). (2015). Credible and actionable evidence: The foundation for rigorous and influential evaluations. SAGE. https://doi.org/10.4135/9781483385839 Duflo, E., Glennerster, R., & Kremer, M. (2008). Using randomization in development economics research: A toolkit. In T. P. Schultz, & J. Strausss (Eds.), Handbook of development economics (pp. 3895-3957). Elsevier. https://doi.org/10.1016/S1573-4471(07)04061-2 https://doi.org/10.1515/9781400829828 https://doi.org/10.1002/sej.1149 https://doi.org/10.14507/epaa.26.3711 https://doi.org/10.1177/0899764018797480 https://doi.org/10.4135/9781483385839 https://doi.org/10.1016/S1573-4471(07)04061-2 Arquivos Analíticos de Políticas Educativas Vol. 28, No. 112 9 Hart, O. D., Shleifer, A., & Vishny, R. W. (1997). The proper scope of government: theory and an application to prisons. Quarterly Journal of Economics, 112(4), 1127-1161. https://doi.org/10.1162/003355300555448 Lazzarini, S. G., Rotondaro, A., Cabral, S., Pongeluppe, L. S., Schmithausen, E., Pereira, T. C., Beckmann, T. K. G., Oshima, F. H. I., Cruz, G. S. L., Reis, B. S., & Lima, F. L. (2019a.) Contracting for socio-environmental outcomes throughout the world: A database dictionary. Insper Metricis. Lazzarini, S. G., Teodorovicz, T., Firpo, S., & Cabral, S. (2019b). Rewarding for causal impact: integrating policy evaluation and incentive alignment in the design of cross-sector contracts. [Texto para discussão]. Insper. https://doi.org/10.2139/ssrn.3603045 Monteiro, V., & Rosilho, A. (2017). Como o Estado pode celebrar Contrato de Impacto Social/CIS? In A. Wald, & M. Justen Filho (Eds.), Direito administrativo na atualidade. Malheiros. Mudaliar, A., Schiff, H. S., Bass, R., & Dithrich, H. (2017). Annual impact investor survey. Global Impact Investing Network (GIIN). Paes de Barros, R., Carvalho, M., Franco, S., & Rosalém, A. (2012). Impacto do Projeto Jovem de Futuro. Estudos em Avaliação Educacional, 23(51), 214-226. https://doi.org/10.18222/eae235120121959 Popper, N. (2015, November 5). Success metrics questioned in school program funded by Goldman. New York Times. Disponível em < https://www.nytimes.com/2015/11/04/business/dealbook/did-goldman-make-the- grade.html> (acesso em 1/5/2020). Secretaria de Estado da Educação de São Paulo. (2017). Minuta de edital de concorrência, objetivando a contratação de serviços de execução e gerenciamento de ações pedagógicas voltadas ao aumento na aprovação e diminuição da evasão escolar, sem redução da aprendizagem, dos alunos da rede estadual de Ensino Médio. Sobre o Autor Sérgio G. Lazzarini Insper sergiogl1@insper.edu.br https://orcid.org/0000-0001-8191-1241 PhD em Administração pela Washington Universiy in St. Louis, é Profes sor Titular da Cátedra Chafi Haddad de Administração do Insper e Coordenador do Insper Metricis. https://doi.org/10.1162/003355300555448 https://doi.org/10.2139/ssrn.3603045 https://doi.org/10.18222/eae235120121959 mailto:sergiogl1@insper.edu.br https://orcid.org/0000-0001-8191-1241 Contratos de impacto social na rede estadual de São Paulo: Comentário 10 arquivos analíticos de políticas educativas Volume 28 Número 112 3 de agosto 2020 ISSN 1068-2341 Los/as lectores/as pueden copiar, mostrar, distribuir, y adaptar este articulo, siempre y cuando se de crédito y atribución al autor/es y a Archivos Analíticos de Políticas Educativas, los cambios se identifican y la misma licencia se aplica al trabajo derivada. Más detalles de la licencia de Creative Commons se encuentran en https://creativecommons.org/licenses/by- sa/4.0/. Cualquier otro uso debe ser aprobado en conjunto por el autor/es, o AAPE/EPAA. La sección en español para Sud América de AAPE/EPAA es publicada por el Mary Lou Fulton Teachers College, Arizona State University y la Universidad de San Andrés de Argentina. Los artículos que aparecen en AAPE son indexados en CIRC (Clasificación Integrada de Revistas Científicas, España) DIALNET (España), Directory of Open Access Journals, EBSCO Education Research Complete, ERIC, Education Full Text (H.W. Wilson), PubMed, QUALIS A1 (Brazil), Redalyc, SCImago Journal Rank, SCOPUS, SOCOLAR (China). Por errores y sugerencias contacte a Fischman@asu.edu Síganos en EPAA’s Facebook comunidad at https://www.facebook.com/EPAAAAPE y en Twitter feed @epaa_aape. https://creativecommons.org/licenses/by-sa/4.0/ https://creativecommons.org/licenses/by-sa/4.0/ http://www.doaj.org/ https://www.facebook.com/EPAAAAPE Arquivos Analíticos de Políticas Educativas Vol. 28, No. 112 11 arquivos analíticos de políticas educativas conselho editorial Editor Consultor: Gustavo E. Fischman (Arizona State University) Editoras Associadas: Andréa Barbosa Gouveia (Universidade Federal do Paraná), Kaizo Iwakami Beltrao, (Brazilian School of Public and Private Management - EBAPE/FGVl), Sheizi Calheira de Freitas (Federal University of Bahia), Maria Margarida Machado, (Federal University of Goiás / Universidade Federal de Goiás), Gilberto José Miranda, (Universidade Federal de Uberlândia, Brazil), Marcia Pletsch (Universidade Federal Rural do Rio de Janeiro), Maria Lúcia Rodrigues Muller (Universidade Federal de Mato Grosso e Science), Sandra Regina Sales (Universidade Federal Rural do Rio de Janeiro) Almerindo Afonso Universidade do Minho Portugal Alexandre Fernandez Vaz Universidade Federal de Santa Catarina, Brasil José Augusto Pacheco Universidade do Minho, Portugal Rosanna Maria Barros Sá Universidade do Algarve Portugal Regina Célia Linhares Hostins Universidade do Vale do Itajaí, Brasil Jane Paiva Universidade do Estado do Rio de Janeiro, Brasil Maria Helena Bonilla Universidade Federal da Bahia Brasil Alfredo Macedo Gomes Universidade Federal de Pernambuco Brasil Paulo Alberto Santos Vieira Universidade do Estado de Mato Grosso, Brasil Rosa Maria Bueno Fischer Universidade Federal do Rio Grande do Sul, Brasil Jefferson Mainardes Universidade Estadual de Ponta Grossa, Brasil Fabiany de Cássia Tavares Silva Universidade Federal do Mato Grosso do Sul, Brasil Alice Casimiro Lopes Universidade do Estado do Rio de Janeiro, Brasil Jader Janer Moreira Lopes Universidade Federal Fluminense e Universidade Federal de Juiz de Fora, Brasil António Teodoro Universidade Lusófona Portugal Suzana Feldens Schwertner Centro Universitário Univates Brasil Debora Nunes Universidade Federal do Rio Grande do Norte, Brasil Lílian do Valle Universidade do Estado do Rio de Janeiro, Brasil Geovana Mendonça Lunardi Mendes Universidade do Estado de Santa Catarina Alda Junqueira Marin Pontifícia Universidade Católica de São Paulo, Brasil Alfredo Veiga-Neto Universidade Federal do Rio Grande do Sul, Brasil Flávia Miller Naethe Motta Universidade Federal Rural do Rio de Janeiro, Brasil Dalila Andrade Oliveira Universidade Federal de Minas Gerais, Brasil Contratos de impacto social na rede estadual de São Paulo: Comentário 12 archivos analíticos de políticas educativas consejo editorial Editor Consultor: Gustavo E. Fischman (Arizona State University) Editores Asociados: Felicitas Acosta (Universidad Nacional de General Sarmiento), Armando Alcántara Santuario (Universidad Nacional Autónoma de México), Ignacio Barrenechea, Jason Beech ( Universidad de San Andrés), Angelica Buendia, (Metropolitan Autonomous University), Alejandra Falabella (Universidad Alberto Hurtado, Chile), Carmuca Gómez-Bueno (Universidad de Granada), Veronica Gottau (Universidad Torcuato Di Tella), Carolina Guzmán-Valenzuela (Universidade de Chile), Antonia Lozano-Díaz (University of Almería), Antonio Luzon, (Universidad de Granada), María Teresa Martín Palomo (University of Almería), María Fernández Mellizo- Soto (Universidad Complutense de Madrid), Tiburcio Moreno (Autonomous Metropolitan University-Cuajimalpa Unit), José Luis Ramírez, (Universidad de Sonora), Axel Rivas (Universidad de San Andrés), César Lorenzo Rodríguez Uribe (Universidad Marista de Guadalajara), Maria Veronica Santelices (Pontificia Universidad Católica de Chile) Claudio Almonacid Universidad Metropolitana de Ciencias de la Educación, Chile Ana María García de Fanelli Centro de Estudios de Estado y Sociedad (CEDES) CONICET, Argentina Miriam Rodríguez Vargas Universidad Autónoma de Tamaulipas, México Miguel Ángel Arias Ortega Universidad Autónoma de la Ciudad de México Juan Carlos González Faraco Universidad de Huelva, España José Gregorio Rodríguez Universidad Nacional de Colombia, Colombia Xavier Besalú Costa Universitat de Girona, España María Clemente Linuesa Universidad de Salamanca, España Mario Rueda Beltrán Instituto de Investigaciones sobre la Universidad y la Educación, UNAM, México Xavier Bonal Sarro Universidad Autónoma de Barcelona, España Jaume Martínez Bonafé Universitat de València, España José Luis San Fabián Maroto Universidad de Oviedo, España Antonio Bolívar Boitia Universidad de Granada, España Alejandro Márquez Jiménez Instituto de Investigaciones sobre la Universidad y la Educación, UNAM, México Jurjo Torres Santomé, Universidad de la Coruña, España José Joaquín Brunner Universidad Diego Portales, Chile María Guadalupe Olivier Tellez, Universidad Pedagógica Nacional, México Yengny Marisol Silva Laya Universidad Iberoamericana, México Damián Canales Sánchez Instituto Nacional para la Evaluación de la Educación, México Miguel Pereyra Universidad de Granada, España Ernesto Treviño Ronzón Universidad Veracruzana, México Gabriela de la Cruz Flores Universidad Nacional Autónoma de México Mónica Pini Universidad Nacional de San Martín, Argentina Ernesto Treviño Villarreal Universidad Diego Portales Santiago, Chile Marco Antonio Delgado Fuentes Universidad Iberoamericana, México Omar Orlando Pulido Chaves Instituto para la Investigación Educativa y el Desarrollo Pedagógico (IDEP) Antoni Verger Planells Universidad Autónoma de Barcelona, España Inés Dussel, DIE-CINVESTAV, México José Ignacio Rivas Flores Universidad de Málaga, España Catalina Wainerman Universidad de San Andrés, Argentina Pedro Flores Crespo Universidad Iberoamericana, México Juan Carlos Yáñez Velazco Universidad de Colima, México javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/819') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/820') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/4276') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/1609') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/825') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/797') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/823') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/798') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/555') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/814') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/2703') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/801') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/826') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/802') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/3264') javascript:openRTWindow('http://epaa.asu.edu/ojs/about/editorialTeamBio/804') Arquivos Analíticos de Políticas Educativas Vol. 28, No. 112 13 education policy analysis archives editorial board Lead Editor: Audrey Amrein-Beardsley (Arizona State University) Editor Consultor: Gustavo E. Fischman (Arizona State University) Associate Editors: Melanie Bertrand, David Carlson, Lauren Harris, Danah Henriksen, Eugene Judson, Mirka Koro-Ljungberg, Daniel Liou, Scott Marley, Molly Ott, Iveta Silova (Arizona State University) Madelaine Adelman Arizona State University Amy Garrett Dikkers University of North Carolina, Wilmington Gloria M. Rodriguez University of California, Davis Cristina Alfaro San Diego State University Gene V Glass Arizona State University R. Anthony Rolle University of Houston Gary Anderson New York University Ronald Glass University of California, Santa Cruz A. G. Rud Washington State University Michael W. Apple University of Wisconsin, Madison Jacob P. K. Gross University of Louisville Patricia Sánchez University of University of Texas, San Antonio Jeff Bale University of Toronto, Canada Eric M. Haas WestEd Janelle Scott University of California, Berkeley Aaron Benavot SUNY Albany Julian Vasquez Heilig California State University, Sacramento Jack Schneider University of Massachusetts Lowell David C. Berliner Arizona State University Henry Braun Boston College Kimberly Kappler Hewitt University of North Carolina Greensboro Noah Sobe Loyola University Casey Cobb University of Connecticut Aimee Howley Ohio University Nelly P. Stromquist University of Maryland Arnold Danzig San Jose State University Steve Klees University of Maryland Jaekyung Lee SUNY Buffalo Benjamin Superfine University of Illinois, Chicago Linda Darling-Hammond Stanford University Jessica Nina Lester Indiana University Adai Tefera Virginia Commonwealth University Elizabeth H. DeBray University of Georgia Amanda E. Lewis University of Illinois, Chicago A. Chris Torres Michigan State University David E. DeMatthews University of Texas at Austin Chad R. Lochmiller Indiana University Tina Trujillo University of California, Berkeley Chad d'Entremont Rennie Center for Education Research & Policy Christopher Lubienski Indiana University Federico R. Waitoller University of Illinois, Chicago John Diamond University of Wisconsin, Madison Sarah Lubienski Indiana University Larisa Warhol University of Connecticut Matthew Di Carlo Albert Shanker Institute William J. Mathis University of Colorado, Boulder John Weathers University of Colorado, Colorado Springs Sherman Dorn Arizona State University Michele S. Moses University of Colorado, Boulder Kevin Welner University of Colorado, Boulder Michael J. Dumas University of California, Berkeley Julianne Moss Deakin University, Australia Terrence G. Wiley Center for Applied Linguistics Kathy Escamilla University of Colorado, Boulder Sharon Nichols University of Texas, San Antonio John Willinsky Stanford University Yariv Feniger Ben-Gurion University of the Negev Eric Parsons University of Missouri-Columbia Jennifer R. Wolgemuth University of South Florida Melissa Lynn Freeman Adams State College Amanda U. Potterton University of Kentucky Kyo Yamashiro Claremont Graduate University Rachael Gabriel University of Connecticut Susan L. Robertson Bristol University Miri Yemini Tel Aviv University, Israel