Mobile TV: where we are and the way forward Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) 39 MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. Algoritmos, regulação e governança: uma revisão de literatura Algorithms, regulation, and governance: a literature review Submetido(submitted): 9/12/2017 Henrique Felix de Souza Machado* Parecer(revised): 10/01/2018 Aceito(accepted): 18/01/2018 Resumo Propósito – Oferecer um mapeamento selecionado da recente produção acadêmica sobre o tema de governança e regulação algorítmica, de modo a compreender como ela se conecta com as tradições teóricas de governança e regulação. Metodologia/abordagem/design – Revisão exploratória de literatura focada na detecção de temas e marcos teóricos das publicações que definem seu campo de investigação por meio de expressões como “regulação algorítmica”, “governança algorítmica”, “governamentalidade algorítmica” e “governo por algoritmo”. Resultados – Apesar de surgirem de 2013 em diante, os artigos mapeados tendem a continuar tradições de pesquisa mais antigas que também figuram nos estudos de regulação e governança. Os temas e abordagens teóricas são variados, sendo mais comuns abordagens foucaultiana, regulatória e da teoria do ator-rede. Possivelmente em razão da novidade do campo, há uma presença maior de artigos teóricos. Originalidade/relevância do texto (opcional) – Na data de escrita esta é a primeira revisão organizada de literatura com esse recorte e mapeia uma gama de estudos estrangeiros para a língua portuguesa, servindo como ponto de partida para pessoas com interesse em adentrar o campo. Palavras-chave: governança algorítmica, regulação algorítmica, algoritmo, big data, aprendizado de máquinas. Abstract Purpose – To offer a curated mapping of the recent academic production on the topic of algorithmic governance and regulation to understand its connection to the theoretical traditions of regulation and governance. Methodology/approach/design – Exploratory literature review focusing on the detection of themes and theoretical approaches in publications that define their field of investigation through expressions such as “algorithmic regulation”, “algorithmic governance”, “algorithmic governmentality”, and “govern by algorithm”. Findings – Despite their appearance from 2013 onwards, surveyed papers tend to carry on older research traditions that also appear in governance and regulation studies. Research topics and theoretical approaches vary, with Foucauldian, regulatory and actor-network approaches being the most common. Possibility due to the novelty of the field, there is a stronger presence of theoretical endeavors. *Especialista em Direito Econômico, com foco em Regulação e Antitruste. Foi Coordenador na Coordenação-Geral de Análise Antitruste 4 no Conselho Administrativo de Defesa Econômica (CADE). E-mail: henriquefsmachado@gmail.com. mailto:henriquefsmachado@gmail.com 40 Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. Originality/value – This is the first organized survey with this scope and it maps a host of foreign studies to the Portuguese language, serving as a starting point for those interested in the field. Keywords: algorithmic governance, algorithmic regulation, algorithm, big data, machine learning. Introdução A vida contemporânea está repleta de algoritmos computacionais – e ao que tudo indica eles vieram para ficar. Desde uma simples busca na internet até uma transação por cartão de crédito ou débito, o uso de sistemas digitais e automatizados de lógica e controle participam cada vez mais da rotina de grande parte das pessoas na sociedade. Nas projeções para o futuro, mais algoritmos: automatização total de postos de trabalho, integração da internet com o sistema logístico-produtivo (Internet das Coisas), desenvolvimento da inteligência artificial, cidades e domicílios inteligentes, entre outros (KURZWEIL, 2005). Porém, apesar dessa ampla penetração na vida mundana, os algoritmos são muitas vezes incompreendidos pelo público leigo e acabam virando mitos no imaginário coletivo: poderosos, misteriosos e responsáveis pelos mais variados acontecimentos (BAROCAS, HOOD e ZIEWITZ, 2013). Nesse contexto, muitas pesquisas começaram a veicular a ideia de que os algoritmos podem ter um papel significativo no ordenamento da vida. Com efeito, a noção de que elementos computacionais têm eficácia normativa não é nova e já vem sendo desenvolvida no pensamento jurídico há algumas décadas por meio de diferentes tradições teóricas.1 De maneira mais ampla, as ciências sociais também vêm se atentando a implicações políticas e sociológicas dos algoritmos, a exemplo de Amoore (2009), Leadbeater (2011) e Bucher (2012). Não obstante essa tendência, apenas mais recentemente, a partir de 2013, passou a ser possível encontrar publicações utilizando expressões que deixam explícito o potencial normativo de algoritmos e/ou a necessidade de normatizá- los, expressões tais como “regulação algorítmica”, “governo (por) algoritmos” e “governança algorítmica”. A carga semântica prévia de palavras como “regulação”, “governo” e “governança” levanta uma questão inicial: se algoritmos computacionais são um elemento trivial de computação, existentes desde os primórdios da programação2, o que teria motivado a recente mudança nos termos empregados para estudar o fenômeno? Que tipos de tradição teórica, temas e metodologia estão presentes nessas novas investigações? 1Cf. Murray (2007). 2Vale lembrar da linguagem de programação criada nos anos 1950 que foi batizada de Algol, em referência à sua intenção de sistematizar a implementação de algoritmos. Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) 41 MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. Embora alguns estudos da linha de regulação e governança algorítmica já apareçam no Brasil (CRAVO, 2015; SILVEIRA, 2017), não parece existir na literatura nacional nenhum esforço de trazer para a língua portuguesa uma compilação organizada de tais publicações – e mesmo em língua inglesa uma seleção dedicada a tais expressões-chave parece ainda não existir, dada a atualidade do tema. O presente artigo tenta preencher a lacuna e contribuir para o entendimento das indagações acima. Para tanto, será feita uma revisão exploratória de literatura focada no novo corpo textual que emprega as mencionadas expressões de maneira explícita, bem como expressões conexas, em língua portuguesa e inglesa. Com o objetivo de possibilitar uma compreensão introdutória desse campo e explicar a hipótese levantada como conclusão da pesquisa, o artigo oferece na seção a seguir uma breve revisão conceitual dos termos-chave “algoritmo” e “governança regulatória”. Na seção posterior, apresenta-se a revisão de literatura propriamente dita, explicitando o método utilizado e uma organização das publicações encontradas por tema e marco teórico. Por fim, na última seção são trazidas as conclusões do trabalho. Uma breve recapitulação de conceitos Algoritmos Como notam Barocas et al. (2013), os algoritmos experimentaram uma grande ascensão enquanto objeto de interesse para pesquisas, políticas públicas e empreendimentos nos últimos anos. De fato, o algoritmo se tornou uma espécie de “mito moderno” (BAROCAS, HOOD e ZIEWITZ, 2013) no imaginário coletivo, sendo possível encontrar diuturnamente na mídia e cultura popular uma série de relatos e especulações sobre seus feitos excepcionais, suas promessas e ameaças. Porém, o que exatamente constitui um algoritmo e por que ele se tornou algo digno de estudo na compreensão da sociedade contemporânea? Derivado do idioma árabe3, o vocábulo algoritmo é frequentemente utilizado na matemática para designar “um conjunto de instruções passo a passo a serem conduzidas mecanicamente para atingir algum resultado desejado” (CHABERT, 1999, p. 1). Ou seja, uma vez que se encontrou um método para a resolução de um problema, esse método não precisa ser sempre redescoberto, 3Etimologicamente, a palavra “algoritmo” chegou às línguas europeias no séc. XII sob a forma “algorismo”, como um sinônimo do sistema numérico decimal hindu-arábico (AMBROSETTI, 2015), a partir de uma latinização do nome árabe do matemático al- Khowarizmi (séc. IX) (LO BELLO, 2013). No século XVII a forma alternativa “algoritmo” passou a figurar nos registros, a partir de uma junção fonética com a palavra grega “arithmos” (número), mas foi somente na década de 1930 que a palavra ganhou seu significado atual (AYTO, 1991). 42 Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. podendo em vez disso ser replicado por meio de uma receita de resolução – um algoritmo. Segundo Knuth (1969), o primeiro algoritmo de que se tem registro é o método de Euclides (c. 300 a.C.) para encontrar o maior divisor comum entre dois números inteiros. Na verdade, o vocábulo não está limitado à matemática e pode ser utilizado para classificar qualquer rotina de tarefas bem-definidas voltadas à execução de uma atividade. Na computação, que é o campo que nos interessa mais diretamente, o termo pode adquirir significados um pouco mais específicos para dar conta da formalização do conceito dentro da teoria computacional, tal como a popular noção de algoritmo como um processo executável por uma máquina de Turing4. Seja qual for o sentido específico do termo em cada contexto, um algoritmo não precisa ser uma sequência meramente unívoca de atos, mas também pode conter etapas com bifurcações, repetições, condicionantes, entre outros emaranhados de procedimentos. Kowalski (1979) traz uma conceituação clássica dos elementos de um algoritmo implementado por uma linguagem de programação. Em sua concepção, algoritmos consistem em um par de estruturas: a estrutura lógica, que incorpora define os elementos de conhecimento empregados em um algoritmo, oferecendo as condições para saber se o resultado foi alcançado e para avaliar proposições em cada etapa (por exemplo, como decidir em uma bifurcação); e a estrutura de controle, que define as estratégias de resolução do problema, ou seja, como esse resultado será alcançado computacionalmente (onde estocar cada bit de informação, que operação utilizar em cada etapa, etc.). O interessante da sistematização de Kowalski é que ela evidencia o fato de que o algoritmo é uma parte do código computacional que contém tomada de decisão (BEER, 2017). Apesar de algoritmos existirem há muito tempo, o advento da computação eletrônica deu um significativo impulso para o seu uso e a sua relevância, na medida em que ela permite que a execução de cada etapa de um algoritmo seja reduzida a um tempo muito pequeno, em geral pequenas frações de segundo, o que é potencializado com o desenvolvimento tecnológico. Existe uma grande variedade de algoritmos computacionais, desde os mais simples aos mais complexos. Um exemplo familiar de algoritmo é o PageRank. Introduzido em 1996 pelos fundadores da Google, o algoritmo tem o propósito de determinar a relevância de um sítio eletrônico com o objetivo de responder a uma solicitação de busca na Web (BRIN e PAGE, 1998). O algoritmo simplesmente conta todos os links que remetem a cada página encontrada a partir das palavras fornecidas e retorna uma lista ordenada dessas páginas, começando da mais 4V. Gurevich (2000) e Blass e Gurevich (2003). Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) 43 MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. linkada até a menos linkada. Apesar de simples, o algoritmo foi uma inovação da empresa na época, conferindo-lhe vantagem sobre outros sistemas de busca. Com a fusão das tecnologias de informação e comunicação (TICs) e o advento da internet comercial no final do século XX, algoritmos passaram a ser empregados na organização de uma série de sistemas que interagem diariamente com a população. Concomitantemente, eles ganharam muito em complexidade: a partir dos mais simples e previsíveis, feitos para resolver problemas de aritmética e cálculo, evoluiu-se para algoritmos dotados de estruturas de controle elaboradas contendo muitas bifurcações, integrantes de programas extensos no qual interagem com outros algoritmos, criados e geridos por grandes equipes ou instituições, e operando sobre vastas bases de dados (big data). Algoritmos computacionais de hoje podem ter resultados imprevisíveis (não-deterministas), ou podem ser programados para aprender a resolver problemas (aprendizado de máquinas e inteligência artificial) e até mesmo para programar novos algoritmos (DONEDA e ALMEIDA, 2016; TUTT, 2017). Em anos recentes, assistimos à massificação do contato rotineiro com algoritmos computacionais até o ponto de sua quase inevitabilidade na vida comum. Isso vem produzindo uma série de reflexões sobre o seu uso e suas consequências, em tópicos que vão desde a ética por trás da operação dos algoritmos e big data (GANDY, 2010; MITTELSTADT, ALLO, et al., 2016), passando pela concepção dos algoritmos como objetos politicamente não- neutros e possíveis fontes de poder (BEER, 2009; FRIEDMAN e NISSENBAUM, 1996), até o efeito que as novas técnicas de associação e inferência de imensos volumes de dados têm gerado sobre a maneira de produzir conhecimento e ação5. Hoje já é possível encontrar livros acessíveis ao público leigo que levantam preocupações sobre o uso de algoritmos, principalmente sobre seu papel na produção de decisões que afetam uma enorme quantidade de pessoas, a exemplo de O’Neil (2016), que aponta os efeitos da proliferação de algoritmos de big data sobre a desigualdade social e a democracia, e Pasquale (2015), que explora a expressão algorítmica da autoridade e evoca a noção de “caixa preta” para se referir à extrema opacidade dos mecanismos decisórios de certos algoritmos6. Nesse contexto, tem ficado cada vez mais claro que os algoritmos não só colocam desafios à concretização de direitos e normas jurídicas, como também que eles podem ser aliados poderosos para a produção e efetivação de normas, 5Nesse sentido, Kitchin (2014) argumenta que o big data vem produzindo uma mudança epistemológica, gerando novas formas de empiricismo guiado por dados e o abandono da teoria. Para uma revisão de literatura crítica sobre o big data, v. Shorey e Howard (2016). 6Vale esclarecer que há algoritmos que são opacos por natureza, tais como vários algoritmos de inteligência artificial e aprendizado de máquina, devido ao caráter extremamente não-linear e não-determinista de sua matemática (TUTT, 2017). 44 Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. tanto públicas quanto privadas. Assim, desde cerca de cinco anos atrás (2013) é possível encontrar um novo e crescente conjunto de estudos sobre algoritmos que emprega explicitamente as expressões “governança algorítmica”, “regulação algorítmica” ou variações próximas. Não obstante, algoritmos, fenômenos conexos e seus efeitos na sociedade já vinham sendo estudados na literatura sem a necessidade de empregar termos conceitualmente carregados tais como “regulação” e “governança” (AMOORE, 2009; BUCHER, 2012; MURRAY, 2007; MITTELSTADT, ALLO, et al., 2016; MUELLER, 2010). Nesse sentido, o que teria mudado para a incorporação dessas expressões na literatura recente? E o que elas significam exatamente? Teria havido o surgimento de um novo paradigma com novas formulações conceituais? O próximo tópico recapitula brevemente alguns desenvolvimentos teóricos nas teorias subjacentes de regulação e governança que podem ter sido relevantes para a emergência desses termos-chave. Teorias de governança e regulação do ciberespaço Tendo em vista que a revisão de literatura presente neste trabalho tem como recorte as expressões específicas envolvendo “regulação”7 e “governança”, interessa entender de que modo pode ter ocorrido a apropriação desses termos por correntes teóricas que tradicionalmente não o utilizavam – ou, pelo menos, não com tanta frequência ou grau de formalização. Isso porque, conforme se verá, uma gama de tradições teóricas já estabelecidas tem se debruçado sobre o tema de regulação e governança algorítmica, ainda que esses termos não fossem tão corriqueiros em seu jargão, e essa confluência teórica parece ser um fator preponderante por trás da emergência dessas novas expressões na literatura revisada. As teorias que tradicionalmente estudam o fenômeno regulatório são variadas e provêm de diferentes campos. Um dos principais campos de conhecimento que já trabalhavam tais vocábulos é o direito, por ter experimentado uma consolidação do termo “regulação” sobretudo através do conceito de Estado regulador (LODGE, 2016). A partir da década de 1990, o termo “regulação” passou por uma renovação teórica no sentido de incorporar visões alternativas, não tão centradas na atuação estatal. Dentre tais visões se destaca Black (2001) com sua proposta de compreender a regulação como um fenômeno “descentrado”, o qual emergiria a partir da atuação de vários atores estatais e não estatais. Propostas nesse sentido costumam estabelecer uma troca bem mais substancial com outras ciências sociais na compreensão da produção coletiva de ordenamento da vida em sociedade. 7Na acepção anglo-americana do termo, distinta da escola de regulação francesa. V. Jessop (1995). Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) 45 MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. Essas teorias de regulação mais difusa se desenvolveram de maneira concomitante com o debate jurídico sobre a normatização da internet. Murray (2013; 2007) faz um apanhado interessante sobre o desenvolvimento desse debate no mundo anglófono. Em síntese, o autor identifica três momentos de debate. No primeiro momento, teria havido ainda um ceticismo e uma incerteza sobre a normatização da internet, com a presença de juristas que duvidavam da internet como um campo próprio no direito ao lado da postura ciberlibertária de negar completamente a mera possibilidade de o Estado alcançar o ciberespaço. No segundo momento, teria surgido a tendência ciberpaternalista, que, ao contrário, não somente identifica o potencial de regramento do ciberespaço, como também atribui a aspectos inerentemente tecnológicos força constitutiva na determinação do conteúdo das regras aplicadas – aspectos tais como infraestrutura de rede, desenho dos protocolos de comunicação, arquitetura dos sistemas de computação e estruturas lógicas e de controle dos códigos de programação.8 Por fim, no terceiro momento, o campo de estudos de regulação do ciberespaço teria se aproximado das já mencionadas noções de regulação descentrada e difusa, incorporando teorias das ciências política, econômicas e sociais e concebendo a regulação como produto da interação de uma série de agentes, estatais ou privados, tecnológicos ou não. A mencionada abertura semântica do vocábulo “regulação” em algumas correntes da teoria regulatória no direito parece ter sido relevante para possibilitar a aproximação do termo com – e posterior apropriação por – outras tradições teóricas, tais como os estudos de “governança”, que sempre tiveram uma matriz teórica bastante diversa e não-focada na regulação que emana do Estado (JESSOP, 1995; MUELLER, 2010; KERSBERGEN e WAARDEN, 2004), e mais recentemente, conforme se verá adiante, os estudos de “regulação/governança algorítmica”. De fato, as noções mais difusas de regulação na teoria do direito foram em direção às correntes de teoria da governança, o que encontra sua expressão talvez mais eloquente no termo “governança regulatória” (LEVI-FAUR, 2010). Segundo Murray (2007) e Lodge (2016), o advento das TICs e dos algoritmos fazem parte dos desafios que levaram a teoria regulatória jurídica a se questionar e se abrir a renovações. Na revisão empreendida a seguir, será possível perceber que a expressão “regulação/governança algorítmica” adquire muitas acepções distintas. Inicialmente, vale citar a percepção de Musiani (2013) e de Lodge e Mennicken (2017) de que o termo pode se referir à regulação do algoritmo ou à regulação pelo algoritmo. Tais acepções podem ser mais ou menos associadas às diferentes compreensões da “regulação” na teoria jurídica (normatização por autoridade 8Essa tendência também é referida como “regulação por design”, “por código” ou “por arquitetura” (YEUNG, 2016b). 46 Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. vs. normatização difusa). A primeira acepção (do algoritmo) refere-se à produção de normas ou diretrizes por parte do Estado ou outras instituições para regulamentar a criação e o uso de algoritmos. Os estudos que se utilizam dessa acepção tendem a se focar tematicamente no setor público ou nas questões de autorregulação. Já a segunda acepção se refere ao próprio algoritmo como central para a produção de normas ou ordenamento. Essa conotação se bifurca em duas concepções possíveis: uma regulação/governança emanada do Estado que usa algoritmos para governar ou uma regulação/governança por algoritmos verdadeiramente difusa, emanada de agentes de vários tipos. Algoritmos, regulação e governança: uma revisão da literatura Método e escopo da revisão A presente revisão de literatura tem escopo exploratório, objetivando mapear os principais temas, correntes teóricas e métodos de pesquisa presentes nos estudos de governança e regulação algorítmica. A pesquisa foi feita nas bases Web of Science, Scopus, Google Scholar e Scielo, mas não se restringiu a esses locais, utilizando também mecanismos de busca e referências encontradas nos artigos à medida em que iam sendo mapeados. Foram utilizados os seguintes termos de pesquisa, em português e inglês: “governança algorítmica” (“algorithmic governance”), “regulação algorítmica” (“algorithmic regulation”), “governo por algoritmos” (“govern by algorithms”) e “governamentalidade algorítmica” (“algorithmic governmentality”). Quando possível, foram utilizados caracteres coringas e diferentes combinações de operadores lógicos entre esses termos. Não foi aplicado nenhum filtro temporal ou de campo de pesquisa, mas posteriormente foram excluídos estudos de regulação algorítmica que não guardam relação aparente com as ciências sociais e humanidades9. Entradas em blogs, colunas de jornal e outras peças opinativas na mídia também não foram consideradas. Ao total, foram rastreadas 45 publicações. As expressões de busca revelaram que a primeira publicação surge em 201110 e as demais publicações aparecem a partir de 2013, sendo O’Reilly (2013) o primeiro registro da expressão integral “regulação algorítmica”11. Os tópicos a seguir trazem uma categorização mista dos itens encontrados, aglutinando-se tanto pelo critério de 9Tais como estudos da biologia e medicina que investigam algoritmos de regulação proteica e genética nas células, propostas técnicas de algoritmos que regulam sistemas de informação e bases de dados, etc. 10“Government by algorithms” em Leadbeater (2011). 11Com efeito, Morozov (2014) credita a introdução deste termo àquela publicação. Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) 47 MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. marco teórico utilizado quanto pelo critério da temática abordada12, dando-se preferência ao primeiro. Vale enfatizar que essa categorização é limitada e inicial, servindo apenas como auxílio para mapear e guiar uma busca pelo tema. A identificação de marco teórico seguiu a própria autodeclaração de alinhamento teórico presente em cada publicação. Quando esta esteve ausente, foi feita uma análise do caso, observando-se o artigo como um todo (teses centrais, instrumentos de análise, jargão, posicionamento), bem como sua lista de referências. A classificação por marco teórico não elide a possibilidade de que a publicação classificada utilize ou dialogue com outras correntes que não as identificadas no presente artigo. As mesmas observações valem para a categorização por tópico/setor. Publicações por marco teórico e temática A primeira constatação resultante da análise do conjunto de publicações revisado é que não existe uma única tradição teórica exclusiva ou dominante no uso das expressões acima delineadas. Tampouco parece existir, ainda, algum corpo teórico que tenha surgido endogenamente ao campo. Na realidade, o que se constata é que uma variedade de tradições vem se apropriando de tais expressões, sendo a governança/regulação algorítmica um encontro de tradições prévias que já vinham coexistindo em outros campos de estudos de regulação e governança da internet e das TICs e que agora se estendem dando continuidade às suas agendas de pesquisa. Nota-se que alguns autores, inclusive, já pesquisavam sobre algoritmos e passaram a usar as expressões de interesse mesmo sem modificar suas bases teóricas (BEER, 2017; INTRONA, 2013; WILLIAMSON, 2013). A partir disso, é possível levantar a hipótese de que a própria abertura conceitual do termo “regulação” na teoria jurídica e sua aproximação com os estudos de governança foi um dos fatores que possibilitaram o movimento observado. A variedade de tradições traz o desafio de construir uma conceituação comum ou mutuamente inteligível para a noção de governança/regulação algorítmica. Nesse sentido, é possível inclusive encontrar na literatura revisada estudos que põem em dúvida a unidade conceitual e comparam diferentes tentativas de conceituação (BAROCAS, HOOD e ZIEWITZ, 2013; MUSIANI, 2013; YEUNG, 2016a). Apesar da ausência de uma unidade teórica, podem-se localizar certas tradições que se destacam com um volume maior de publicações, tais como a biopolítica, a teoria do ator-rede, as escolas de administração e economia, e o direito. Devido à própria onipresença de algoritmos na vida contemporânea, é possível detectar uma grande amplitude de 12Devido à predominância de estudos de escopo teórico, não seria proveitoso categorizar os artigos por metodologia utilizada. Uma categorização cronológica também seria pouco informativa dada a pequena extensão do período analisado (2013-2017). 48 Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. temas. Os itens a seguir apresentam as publicações localizadas na revisão, conforme a classificação por marco teórico e/ou temática. Biopolítica e a tradição foucaultiana Como nota Yeung (2016a), a tradição foucaultiana é até o momento a principal tradição a se apropriar da expressão “regulação/governança algorítmica”. Aqui, a variação “governamentalidade algorítmica” também é utilizada13, em linha com o vocabulário de Michel Foucault. As noções de biopolítica, vigilância panóptica, produção de conhecimento e verdade, e microfísica do poder já vinham sendo empregadas no estudo de algoritmos para enfatizar a capacidade desses artefatos de operar vigilância social em larga escala, gerenciar a informação disponível ao público amplo de maneira personalizada e viabilizar o exercício do poder para regular comportamentos cotidianos14. Os estudos que continuam a tradição foucaultiana localizados na revisão são descritos a seguir. Conforme ficará claro, o nome de Foucault serve como um articulador de teorias, na medida em que aparece em estudos que empregam ao seu lado diferentes tradições teóricas de ciência política, filosofia e sociologia. Williamson (2013) empreende uma análise de discurso de textos sobre políticas para investigar como empresas e instituições do terceiro setor no Reino Unido vêm propondo um método reticulado para a construção coletiva do currículo escolar público por meio de uma governança algorítmica distribuída, onde as tecnologias de rede e de associação de bases de dados permitem um “governo por código” exercido por determinadas organizações. O autor parte de uma base foucaultiana, mas utiliza uma série de outros elementos de teoria de governança, políticas públicas e ciência política. Rouvroy (2014) considera a governamentalidade algorítmica de um ponto de vista da produção de subjetividades e como seu uso associativo e preditivo dos dados dribla a efetiva subjetivação, afetando, antes, as potencialidades abstratas dos sujeitos. Vignola (2016) continua a elaboração de Rouvroy e adentra em considerações filosóficas sobre a manifestação contemporânea do niilismo na massificação da quantificação de possibilidades. McQuillan (2015) faz um estudo de caso das novas bases de dados NoSQL, tecnologias de estocagem de big data que possibilitaram a combinação de algoritmos de aprendizado de máquinas e de mineração de dados para a produção de uma governamentalidade preditiva como forma de governança. Argumenta que o estado de vigilância e a confusão entre causalidade e 13Pelos itens encontrados nesta revisão, a expressão parece ter surgido no francês com Rouvroy e Berns (2013). 14Como exemplo de precursores nesse sentido, recorrentemente citados pela literatura revisada, tem-se Amoore (2009), Cheney-Lippold (2011) e Bucher (2012). Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) 49 MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. correlação acaba criando um “estado de exceção”, no conceito de Giorgio Agamben, e que uma forma de reagir a isso seria empregando os “meios de resistência” teorizados por Walter Benjamin. Introna (2015) combina a perspectiva foucaultiana com a de Bruno Latour para perceber algoritmos como dotados de agência em potencial (algorithmic actors). Faz um estudo de caso do software de plágio Turnitin para estudar a governança algorítmica da escrita acadêmica. Beer (2017) concebe os algoritmos como parte dos “aparatos de conhecimento” foucaultianos, criados e organizados pelo poder para sua própria efetivação. Revisa e dialoga com a literatura de governança regulatória, conclamando a união de esforços em uma agenda de pesquisa plural para a compreensão das relações entre algoritmos e poder. Roberts e Elbe (2016), em continuidade aos estudos de vigilância sindrômica, analisam três estudos de caso para revisar a evolução dos sistemas de vigilância global de síndromes e doenças e estudar como o algoritmo e o big data podem marcar uma mudança no uso de tais sistemas pelos atores estatais e de segurança. Vukov (2016) estuda o conceito de “fronteiras inteligentes” (smart broders), focando-se no caso da fronteira entre os EUA e o Canadá, e questiona sua classificação por seus defensores como um modelo de segurança científico e pós-racial. Incorporando à biopolítica o conceito de necropolítica de Achille Mbembe, argumenta que a raça continua um conceito central nas formas de governamentalidade algorítmica que convergem em fronteiras inteligentes. Por fim, em contribuição original da literatura brasileira sobre o tema, Silveira (2017) enxerga os algoritmos como um elemento da governamentalidade posta em prática pelo setor público e revisa os perigos de sua adoção indiscriminada ou descuidada por parte das autoridades, sugerindo a incorporação de uma série de diretrizes para exercer algum controle sobre os algoritmos. Teoria do ator-rede Ao lado da tradição foucaultiana, a teoria do ator-rede figura desde o início nas publicações com a expressão “regulação/governança algorítmica”. O uso dessa teoria tende a enfatizar ausência de neutralidade do algoritmo em qualquer sentido do termo, ausência vislumbrada na possibilidade de haver agência e papel político por parte dos algoritmos na produção de ordem desde que inseridos no contexto de uma rede sociomaterial muito mais ampla de agentes e práticas mundanas. O algoritmo é muitas vezes retratado na figura de “mediador”, que em suas etapas de execução e decisão opera traduções transformadoras de causalidade e sentido. Introna (2013) revisa o conceito de algoritmo sob a perspectiva da performatividade e enxerga a operação de “traduções” (no sentido latouriano) nas atividades de delimitar os objetivos de um algoritmo e de executar suas 50 Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. etapas. O algoritmo inserido em um coletivo seria altamente performativo, tendo em vista que as linguagens de programação, ao contrário de outras linguagens, são diretamente executáveis e permitem a contínua e dinâmica construção e reconstrução coletiva de mundos, respeitando a ontologia latouriana do “se tornar” (becoming). Assim, algoritmos em uma rede de atores não são transportadores automáticos de causalidade que seguem as intenções de quem os programou, mas antes fazem parte de um arranjo sociomaterial que constantemente se torna algo diferente e irredutível. Como consequência, o autor entende que medidas regulatórias que tomem como alvo o algoritmo em si (ex.: regras de abertura do código ou de sua manipulação direta), concebendo- o como um agente único e deslocalizado de seu contexto sociomaterial, podem não ser suficientes na consecução de seus objetivos. Musiani (2013) emprega a perspectiva de Bruno Latour no contexto mais amplo da governança da internet (GI) e dos estudos de ciência, tecnologia e sociedade (STS). A autora tenta compreender em que medida algoritmos se relacionam com a produção mundana de normas e considera os casos dos mecanismos de busca (Google) e do comércio eletrônico (Amazon). Massanari (2015), por sua vez, combina a teoria do ator-rede com uma perspectiva feminista e faz uma etnografia dos fóruns do portal Reddit. Ela conclui que a arquitetura de sistema e de algoritmo do portal é co-constituída por decisões implícitas dos programadores e da comunidade, favorecendo e reforçando o ativismo por ela interpretado como misógino e anti-feminista. Campbell-Verduyn et al. (2016) estudam três casos da governança algorítmica global de finanças: adequação de capital bancário, classificação de crédito e high-frequency trading. Distinguem três conceitos diferentes de governança algorítmica (através de algoritmos, com algoritmos e por parte dos algoritmos). Sopesam as visões utópicas e distópicas presentes na literatura e concluem que nenhuma delas oferece uma visão realista das consequências da governança algorítmica, observando que ela não necessariamente amplia o poder dos atuais agentes, mas antes muda como, quando e onde a governança acontece. Economia, negócios e produção colaborativa Embora não tenham sido localizadas publicações inseridas em marcos teóricos tradicionais de economia, negócios e competição, alguns estudos se valem de conceitos desses campos para investigar efeitos de eficiência, produção, valor e custos associados à noção de governança algorítmica. O’Reilly (2013), o primeiro a utilizar o conceito de “regulação algorítmica”, a concebe como uma oportunidade dos governos de operar uma mudança qualitativa em sua atuação por meio de técnicas tomadas do setor privado, afastando-se do paradigma regulatório voltado a regras e normas e Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) 51 MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. passando a utilizar algoritmos segundo um paradigma voltado a resultados, com monitoramento de dados e adaptação de regras em tempo real. Em sua avaliação, isso seria mais eficiente e efetivo na consecução de objetivos coletivos. O autor enfatiza que o uso de algoritmos e big data pode conferir mais poder à autoridade, mas opina que o segredo para um equilíbrio de forças estaria no conceito de dados abertos (open data), ou seja, a publicidade e competição de opiniões sobre a atuação da autoridade. Um conjunto de estudos representados por Pitt et al. (2014a; 2014b; 2014c) favorece a expressão “auto-governança algorítmica” e continua uma tradição de construir “sistemas sociotécnicos inteligentes”, empregando sistemas algorítmicos em certos setores da economia para tentar reduzir drasticamente o desperdício e aumentar a sustentabilidade ao mesmo tempo em que se articula uma vida social comum. Com forte inspiração na literatura de gestão de recursos comuns, trabalhando o conceito de prosumer e a obra de Elinor Ostrom, tais estudos se focam nas cidades (smart cities) e nos recursos que antes seriam exclusivos e privados e que, por meio de uma gestão algorítmica, podem se tornar recursos comuns. Os setores mais estudados são os de energia elétrica (smart grids), locais de trabalho compartilhados e transporte urbano, e a metodologia empregada costuma ser a propositura de arquiteturas de sistemas algorítmicos integrados, pensados para interagir com as instituições sociais da comunidade local. Um estudo mais empírico sobre a noção de smart cities pode ser encontrado em Coletta e Kitchin (2017), que se debruçam sobre duas tecnologias algorítmicas já existentes de gestão do espaço urbano por meio da Internet das Coisas: gestão de tráfego e monitoramento sonoro. Os autores fazem uma interessante fusão entre (i) a tradição de análise rítmica da vida urbana, (ii) o conceito de algo-ritmos (algorhythm), e (iii) a governança algorítmica, cunhando o termo “governança algo-rítmica” (algorhythmic governance). Concluem que esse tipo de regulação da vida urbana produz um ritmo de fluxo do tempo e do espaço nas cidades. Just e Latzer (2017), analisam o processo de co-evolução entre algoritmos como instituições e seu contexto social, político e econômico mais amplo, considerado como um sistema complexo. Constroem uma tipologia do que chamam de “algoritmos de seleção”, isto é, algoritmos que reconstroem a realidade operando uma filtragem de informação para sua entrega à pessoa usuária (exs.: busca do Google, linha do tempo do Facebook). Consideram que o desenvolvimento dessas tecnologias se volta à sua aptidão no mercado da “atenção”, que entendem como o “recurso escasso central nas sociedades da informação”. A partir do estudo de casos de sua tipologia, concluem que a evolução dos algoritmos tem efeito de feedback sobre a governança da internet, co-governando o desenvolvimento do espaço virtual. 52 Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. Mueller-Birn et al. (2013) se inserem no contexto dos estudos da Wikipedia e da governança em comunidades de produção colaborativa por pares pela internet. Utilizando etnografia, análise de registros arquivísticos de edição e discussão no portal e estatística descritiva, investigam como os algoritmos emergem a partir das regras que vão surgindo na comunidade. O estudo conclui, em síntese, que algoritmos de funcionalidade e robôs de edição automática acabam se tornando regras de governança codificadas com força normativa eficaz, mas nem sempre transparente, e que a importância crescente da governança algorítmica conclama uma necessidade de pensar mecanismos mais eficazes de controle e transparência sobre algoritmos. No campo da economia institucional e sua relação com a teoria sociológica das organizações, vale comentar a contribuição precursora de Aneesh (2009). Embora não se utilize das expressões de interesse do presente trabalho e, portanto, não faça parte do corpo textual revisado, é utilizado por várias pessoas que vem adentrando no estudo da governança algorítmica (DANAHER et al., 2017). O autor cunha o termo “algocracia” (algocracy) para se referir a um novo modo de organização do trabalho disperso e sob demanda para fins lucrativos, que não requer a presença física de burocracia nem contratos de trabalho formalmente exclusivos ou pessoais, mas que tampouco pode ser chamado de organização pelo “mercado”, tal como na classificação binária do neoinstitucionalismo (burocracia x mercado). A camada lógica da rede (código) é então vista não exatamente como regulação ou direito (Lawrence Lessig), mas sim do ponto de vista organizacional como um elemento de mediação simbólica que permite a diferenciação de sistemas organizacionais em uma estrutura nova. Em tais sistemas algocráticos, a unidade básica da organização econômica não é o indivíduo nem uma entidade coletiva (Estado, empresa), mas sim uma rede, o que segundo o autor está em linha com a abordagem de Manuel Castells. Autorregulação, governança regulatória e setor público Williamson (2014) empreende uma análise de documentos produzidos por instituições do terceiro setor no Reino Unido para promover uma reforma administrativa no sentido de conceber pessoas usuárias como co-produtoras de serviços públicos mais personalizados (cidadania interativa), baseado na interação humano-máquina em sistemas algorítmicos de big data e predição associativa. O autor argumenta que o Reino Unido vem passando por uma contínua desburocratização da Administração Pública, que se configura cada vez mais como uma rede híbrida composta não somente por organizações de diversos setores, como também recursos tecnológicos (bases de dados, algoritmos e softwares). Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) 53 MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. Saurwein et al. (2015) fazem uma revisão de literatura sobre o tópico do poder do algoritmo e das opções de seleção de informações por algoritmo (JUST e LATZER, 2017) conforme o resultado social, político e econômico almejado, e aplicam uma análise de risco às opções mapeadas, sopesando as alternativas e limitações da regulação de algoritmos. Concluem que a autorregulação deveria empregar métodos de análise de risco para considerar a seleção por algoritmos. Doneda e Almeida (2016) sugerem que as empresas criem mecanismos de revisão interna em regime de autorregulação, adotando padrões de transparência e accountability dos algoritmos, mantendo-se aberta a possibilidade de que, caso isso não renda os resultados esperados, uma entidade governamental seja criada justamente com o escopo de regulação algorítmica. Wagner (2016) parte de uma perspectiva da sociologia dos artefatos e da governança da internet para analisar a efetividade de normas regulatórias quando elas dependem de soluções algorítmicas imbricadas no desenho da tecnologia regulada. Tomando como exemplo o caso da regulação de conteúdo, conclui que o potencial de governar por meio de normas subjacentes à solução tecnológica atrai disputas entre as empresas e o governo e, frequentemente, as autoridades não têm nem mesmo o acesso necessário aos algoritmos que lhes permitiriam averiguar a efetividade de normas legais ou regulatórias. Yeung (2016b) emprega o corpo teórico de governança regulatória, na concepção de Julia Black, e compreende o big data e a tomada de decisão algorítmica como um modo de normatização por design, na forma da teorização de Lawrence Lessig15. Entende que o fenômeno pode ser traduzido enquanto um nudge, na acepção de Richard H. Thaler e Cass R. Sunstein, mas bastante potencializado (hypernudge), discutindo as implicações disso para teorias da justiça contemporâneas, tais como de Richard Dworkin e Joseph Raz. Outros textos da autora que se preocupam em conceituar a governança algorítmica de um ponto de vista da governança regulatória são Yeung (2016a; 2017). A tradição de governança regulatória recebeu, ainda, uma coletânea contendo sete artigos destinados à regulação e governança algorítmica em Leigthon et al. (2017), abrangendo temas tais como o conceito de governança algorítmica, a qualidade de serviços públicos por algoritmo, o uso de algoritmos em julgamentos, entre outros. Coglianese e Lehr (2017) fazem uma análise jurídica-doutrinária mais tradicional acerca do uso de aprendizado de máquinas por entidades governamentais como instrumento de regulação, normatização e jurisdição. Em seu raciocínio, cotejam a legalidade desse movimento frente a princípios do direito administrativo, tais como a não-delegação, o devido processo, a não- discriminação e a publicidade. Concluem que o uso da regulação algorítmica 15Que Murray (2007) classifica como “ciberpaternalista”, cf. revisão acima. 54 Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. pode respeitar esses princípios e ser considerado lícito, embora sem prejuízo de outros julgamentos de conveniência, adequação e boa governança. Tutt (2017) também analisa os algoritmos por um prisma do direito administrativo, mas ataca a questão por outro ângulo. Faz uma revisão da capacidade atual de algoritmos, sobretudo de inteligência artificial, e uma prospecção sobre o que eles serão capazes de fazer no futuro próximo. Enxerga que os instrumentos legais nas mãos das autoridades não serão nem de longe capazes de fazer frente à evolução dos algoritmos, conclamando uma maior instrumentalização do poder público. Traz uma tipificação interessante dos algoritmos por grau de complexidade16 e propõe que os mais complexos devem ser fortemente regulados e sujeitos a aprovação prévia antes de serem permitidos a circular. Globalização e relações internacionais Um estudo que vale destaque é o de Cravo (2015), que não somente constitui a primeira referência em língua portuguesa encontrada nesta revisão que emprega o termo “regulação algorítmica”, mas também a única que utiliza o marco teórico de Immanuel Wallerstein. O autor do estudo articula a contradição do sistema-mundo atual de Wallerstein em seus conceitos de modernidade tecnológica e modernidade da libertação para discutir as possibilidades ainda em aberto de emprego do big data na efetivação da democracia. Também escrevendo no Brasil, Lobato (2017) faz uma ampla revisão teórica no campo de teoria das relações internacionais (TRI) para mostrar como as teorias de governança, governança da internet e STS contribuíram para a abertura das concepções tradicionais da escola realista de TRI. Articula o novo campo de regulação e governança algorítmica e os desafios que novamente se colocam para a TRI. Mellamphy e Mellamphy (2015) utilizam o conceito de sinarquia, oriundo da regulação de fluxos de informação gênica e de biologia molecular, como uma analogia para analisar a governança algorítmica enquanto uma questão inteiramente de informação, concluindo que a alegada liberdade advinda de regimes algorítmicos idealizados de informação aberta poderia ainda assim decair em esquemas regulatórios mais rígidos e funcionais de sistemas globalizados. 16A classificação consiste em 5 tipos: algoritmos simples e deterministas (“white box”); algoritmos não-deterministas, mas ainda assim simples e controláveis (“grey box”); algoritmos de inteligência artificial e aprendizado de máquinas que apresentam propriedades emergentes que tornam a explicação de seu resultado muito difícil ou impossível (“black box”); “algoritmos sentientes” que passam no teste de Turing; e a “singularidade”, capaz de automelhoramento recursivo. Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) 55 MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. Tomando emprestado de várias matrizes conceituais diferentes, Butt (2016) vê o atual debate político de governança algorítmica e da internet como uma nova forma de neocolonialismo, com seus temas fechados pelos EUA e Europa e suas plataformas privadas oligopolísticas. Ele retoma a proposta de Nova Ordem Informacional Internacional, debate da década de 1970 sobre as desigualdades de mídia informacional entre os países do Sul e do Norte global, mas agora aplicada a plataformas online e algoritmos. Outras perspectivas teóricas e temáticas Barocas et al. (2013), em estudo bastante referenciado na literatura revisada, oferecem uma série de provocações e questionamentos acerca das formas de estudar algoritmos, da validade desse conceito como unidade analítica, e de algumas das questões mais controversas no estudo do governo por algoritmos. O estudo lista uma série de referências que viriam a servir de base para a apropriação das expressões “regulação” e “governança” no estudo de algoritmos. Medina (2015) oferece uma perspectiva histórica do estudo da regulação algorítmica ao utilizar um método historiográfico para estudar o caso do Cybersyn, projeto socialista cibernético de Salvador Allende no Chile, concluindo pela importância do estudo histórico nas investigações sobre algoritmos e da importância do desenvolvimento conjunto de inovações tanto políticas quanto tecnológicas. Embora já haja muita produção em ética acerca de inteligência artificial, big data e outros assuntos, a revisão localizou apenas um estudo que remete diretamente os estudos de ética à regulação e governança algorítmica. Mittelstadt et al. (2016) fazem uma revisão da literatura sobre ética e algoritmos e como ela pode contribuir para o debate de regulação e governança. Danaher et al. (2017) realizam um workshop com várias pessoas que pesquisam na área de governança algorítmica e áreas correlatadas e angariam uma série de preocupações, interesses e propostas veiculadas por essas pessoas no experimento. A partir disso, delineiam uma grande lista de assuntos para estabelecer uma agenda de pesquisa no campo de governança e regulação algorítmica. Os tópicos vão desde a opacidade e accountability de algoritmos até as visões utópicas e distópicas sobre os algoritmos, oferecendo uma lista de itens que podem ser atualmente explorados em pesquisas originais por quem se interessa pela área. Por último, vale mencionar a corrente de Critical Algorithm Studies, cujas influências teóricas prévias podem ser encontradas na lista de leitura compilada por Social ... (2016). As publicações tangenciam o tema de governança algorítmica e vêm sendo citadas por algumas referências aqui mapeadas (YEUNG, 2017; LOBATO, 2017). 56 Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. Conclusão O presente artigo se debruçou sobre os estudos surgidos nos últimos cinco anos que empregam os termos “regulação algorítmica”, “governança algorítmica” e variações. Foi feita uma retomada teórica inicial sobre os vocábulos “algoritmo”, “regulação” e “governança”, a fim de explicitar como o seu desenvolvimento semântico recente pode ter influenciado o próprio surgimento do objeto deste trabalho. Posteriormente, foi feita uma revisão de literatura abrangendo 45 artigos, classificando-os por tradição teórica e tema. A revisão empreendida mostrou uma grande variedade de teorias e temáticas. As publicações revisadas demonstram uma continuidade com tradições teóricas anteriores e revelam a predominância de metodologias por enquanto menos voltadas ao estudo empírico e mais voltadas à conceituação teórica da nova forma de governança/regulação. A partir da revisão de literatura, levantou-se a hipótese de que o surgimento das expressões mencionadas no campo de estudos sobre algoritmos não significa que houve o desenvolvimento de novos paradigmas endógenos ao campo. Antes, parece ser em parte resultado de um alargamento prévio do conceito de “regulação” e de sua aproximação com a teoria de “governança”, de modo que tradições teóricas já estabelecidas em várias áreas das ciências humanas e sociais viram nesses termos uma possibilidade de compatibilização e continuação de suas agendas de pesquisa, agora aplicadas ao tema de algoritmos. Referências bibliográficas AMBROSETTI, N. Algorithmic in the 12th Century: the Carmen de Algorismo by Alexander de Villa Dei. Preliminary Proceedings of the Third International Conference on the History and Philosophy of Computing (HaPoC 2015), p. 18-19, 2015. Disponivel em: . Acesso em: 18 nov. 2017. AMOORE, L. AlgorithmicWar: Everyday Geographies of the War on Terror. Antipode, v. 41, n. 1, p. 49-69, 2009. ANEESH, A. Global Labor: Algocratic Modes of Organization. Sociological Theory, American Sociological Association, v. 27, n. 4, p. 347-370, dez. 2009. AYTO, J. Dictionary of Word Origins. Nova Iorque, Estados Unidos da América: Arcade, 1991. BAROCAS, S.; HOOD, S.; ZIEWITZ, M. Governing Algorithms: A Provocation Piece. Paper preparado para a Governing Algorithms Conference, p. 1-12, 2013. Disponivel em: Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) 57 MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. . Acesso em: 18 nov. 2017. BAROCAS, S.; HOOD, S.; ZIEWITZ, M. Governing Algorithms: A Provocation Piece, mar. 2013. Disponivel em: . Acesso em: 1 dez. 2017. BEER, D. Power through the algorithm? Participatory web cultures and the technological unconscious. New Media & Society, v. 11, n. 6, p. 985- 1002, 2009. BEER, D. The social power of algorithms. Information, Communication, & Society, v. 20, n. 1, p. 1-13, 2017. BLACK, J. Decentring regulation: understanding the role of regulation and self regulation in a “post-regulatory” world. Current Legal Problems, v. 54, n. 1, p. 103-146, 2001. BLASS, A.; GUREVICH, Y. Bulletin of the European Association for Theoretical Computer Science, n. 1, p. 195-225, out. 2003. Disponivel em: . Acesso em: 19 nov. 2017. BRIN, S.; PAGE, L. The Anatomy of a Large-Scale Hypertextual Web Search Engine. Computer Networks & ISDN Systems, v. 30, n. 1-7, p. 107- 117, abr. 1998. BUCHER, T. Want to be on the top? Algorithmic power and the threat of invisibility on Facebook. New Media & Society, v. 14, n. 7, p. 1164- 1180 , abr. 2012. BUTT, D. FCJ-198 New International Information Order (NIIO) Revisited: Global Algorithmic Governance and Neocolonialism. The Fibreculture Journal, v. 27, mar. 2016. Disponivel em: . Acesso em: 27 nov. 2017. CAMPBELL-VERDUYN, M.; GOGUEN, M.; PORTER, T. Big Data and algorithmic governance: the case of financial practices. New Political Economy, v. 22, n. 2, p. 219-236, ago. 2016. CHABERT, J.-L. (Ed.). A History of Algorithms: From the Pebble to the Microchip. Nova Iorque, Estados Unidos da América: Springer-Verlag Berlin Heidelberg, 1999. CHENEY-LIPPOLD, J. A NewAlgorithmic Identity: Soft Biopolitics and the Modulation of Control. Theory, Culture & Society, v. 28, n. 6, p. 164- 181, 2011. 58 Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. COGLIANESE, C.; LEHR, D. Regulating by Robot: Administrative Decision Making in the Machine-Learning Era. Georgetown Law Journal, v. 105, p. 1147 e ss., jun. 2017. Disponivel em: . Acesso em: 27 nov. 2017. COLETTA, C.; KITCHIN, R. Algorhythmic governance: Regulating the ‘heartbeat’ of a city using the Internet of Things. Big Data & Society, v. 4, n. 2, nov. 2017. CRAVO, V. O Big Data e os desafios da modernidade: uma regulação necessária? Revista de Direito Setorial e Regulatório, v. 1, n. 2, p. 243- 257, out. 2015. DANAHER, J. et al. Algorithmic governance: Developing a research agenda through the power of collective intelligence. Big Data & Society, v. 4, n. 2, set. 2017. DONEDA, D.; ALMEIDA, V. A. F. What Is Algorithm Governance? IEEE Internet Computing, v. 20, n. 4, p. 60-63, jul.-ago. 2016. FRIEDMAN, B.; NISSENBAUM, H. Bias in Computer Systems. ACM Transactions on Information Systems, v. 14, n. 3, p. 330-347, 1996. GANDY, O. Engaging Rational Discrimination: Exploring Reasons for Placing Regulatory Constraints on Decision Support Systems. Ethics and Information Technology, v. 12, n. 1, p. 29-42, 2010. GUREVICH, Y. Sequential Abstract State Machines Capture Sequential Algorithms. ACM Transactions on Computational Logic, v. 1, n. 1, p. 77-111, jul. 2000. INTRONA, L. D. Algorithms, Performativity and Governability. Discussion paper para a conferência Governing Algorithms, 2013. Disponivel em: . Acesso em: 27 nov. 2017. INTRONA, L. D. Algorithm, Governance, and Governmentality: On governing academic writing. Science, Technology, & Human Values, v. 41, n. 1, p. 17-49, jun. 2015. JESSOP, B. The regulation approach, governance and post-Fordism: alternative perspectives on economic and political change? Economy and Society, v. 24, n. 3, p. 307-333, 1995. JUST, N.; LATZER, M. Governance by algorithms: reality construction by algorithmic selection on the Internet. Media, Culture & Society, v. 39, n. 2, p. 238–258, 2017. KERSBERGEN, K. V.; WAARDEN, F. V. ‘Governance’ as a bridge between disciplines: Cross-disciplinary inspiration regarding shifts in governance Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) 59 MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. and problems of governability, accountability and legitimacy. European Journal of Political Research, v. 43, p. 143–171, 2004. KITCHIN, R. Big Data, new epistemologies and paradigm shifts. Big Data & Society, v. 1, n. 1, p. 1-12, abr.-jun. 2014. KNUTH, D. E. The Art of Computer Programming, Vol. 2: Seminumerical Algorithms. Reading, Massachussets, Estados Unidos da América: Addison-Wesley Publishing Company, 1969. KOWALSKI, R. Algorithm = Logic + Control. Communications of the ACM , v. 22, n. 7, p. 424-436, 1979. KURZWEIL, R. The Singularity Is Near: When Humans Transcend Biology. Nova Iorque, Estados Unidos da América: Viking Penguin, 2005. LEADBEATER, C. The Civic Long Tail. Londres, Reino Unido: Demos, 2011. LEIGHTON, A. et al. Algorithmic Regulation. Discussion Paper Series, Centre for Analysis of Risk and Regulation at the London School of Economics and Political Science, Londres, Reino Unido, n. 85, set. 2017. LEVI-FAUR, D. Regulation &Regulatory Governance. Jerusalem Papers in Regulation & Governance Working Paper Series, n. 1, p. 1-40, 2010. LO BELLO, A. Origins of Mathematical Words: A Comprehensive Dictionary of Latin, Greek, and Arabic Roots. Baltimore, Estados Unidos da América: Th e Johns Hopkins University Press, 2013. LOBATO, L. C. Algoritmos e os limites da teoria das Relações Internacionais. 6º Encontro Nacional da ABRI, Belo Horizonte, jul. 2017. Disponivel em: . Acesso em: 27 nov. 2017. LODGE, M. Regulation scholarship in crisis? Centre for Analysis of Risk and Regulation Discussion Paper Series, n. 84, p. 1-7, out. 2016. Disponivel em: . Acesso em: 25 nov. 2017. LODGE, M.; MENNICKEN, A. The importance of regulation of and by algorithm. In: Andrews, Leighton. et al. Algorithmic Regulation. Centre for Analysis of Risk and Regulation Discussion Paper Series, n. 85, nov. 2017. Acesso em: 27 nov. 2017. MASSANARI, A. #Gamergate and The Fappening: How Reddit’s algorithm, governance, and culture support toxic technocultures. New Media & Society, v. 19, n. 3, p. 329-346, out. 2015. 60 Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. MCQUILLAN, D. Algorithmic States of Exception. European Journal of Cultural Studies, v. 18, n. 4-5, p. 564-576, jun. 2015. MEDINA, E. Rethinking algorithmic regulation. Kybernetes, v. 44, n. 6-7, p. 1005-1019, 2015. MELLAMPHY, D.; MELLAMPHY, N. B. FCJ–185 An Algorithmic Agartha: Post-App Approaches to Synarchic Regulation. The Fibreculture Journal, n. 25, p. 162-182, 2015. MITTELSTADT, B. D. et al. The ethics of algorithms: Mapping the debate. Big Data & Society, v. 3, n. 2, p. 1-21, dez. 2016. MOROZOV, E. The rise of data and the death of politics. The Guardian, 20 jul. 2014. Disponivel em: . Acesso em: 15 nov. 2017. MUELLER, M. Networks and States: The Global Politics of Internet Governance. Cambridge, Estados Unidos da América: The MIT Press, 2010. MÜLLER-BIRN, C.; DOBUSCH, L.; HERBSLEB, J. D. Work-to-rule: the emergence of algorithmic governance in Wikipedia. C&T '13: Proceedings of the 6th International Conference on Communities and Technologies, p. 80-89, jun. 2013. MURRAY, A. D. The regulation of cyberspace: control in the online environment. Nova Iorque, Estados Unidos da América: Routledge- Cavendish, 2007. MURRAY, A. D. Looking Back at the Law of the Horse: Why Cyberlaw and the Rule of Law are Important. SCRIPTed, v. 13, n. 3, p. 312-319, out. 2013. MUSIANI, F. Governance by algorithms. Internet Policy Review, v. 2, n. 3, p. 1-8, ago. 2013. O'NEIL, C. Weapons of Math Detruction: How Big Data Increases Inequality and Threatens Democracy. Nova Iorque, Estados Unidos da América: Crown, 2016. O'REILLY, T. Open data and algorithmic regulation. In: GOLDSTEIN, B.; DYSON, L. Beyond transparency – open data and the future of civic innovation. São Francisco, Estados Unidos da América: Code for America Press, 2013. p. 289–300. PASQUALE, F. Black Box Society: The Secret Algorithms That Control Money and Information. Cambridge, Massachussets, Estados Unidos da América: Harvard University Press, 2015. Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) 61 MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. PITT, J. et al. Collective Intelligence and Algorithmic Governance of Socio- Technical Systems. In: MIORANDI, D., et al. Social Collective Intelligence: Combining the Powers of Humans and Machines to Build a Smarter Society. [S.l.]: Springer International Publishing Switzerland, 2014a. p. 31-50. PITT, J. et al. Algorithmic self-governance and the design of socio-technical systems. CEUR Workshop Proceedings, v. 1283, p. 262-273, 2014b. Disponivel em: . Acesso em: 3 dez. 2017. PITT, J.; DIACONESCU; ADA. The Algorithmic Governance Of Common- Pool Resources. In: CLIPPINGER, J. H.; BOLLIER, D. From Bitcoin to Burning Man and Beyond: The Quest for Identity and Autonomy in a Digital Society. [S.l.]: ID3 and Off The Common Books, 2014c. Disponivel em: . Acesso em: 3 dez. 2017. ROBERTS, S. L.; ELBE, S. Catching the flu: Syndromic surveillance, algorithmic governmentality and global health security. Security Dialogue, v. 48, n. 1, p. 46-62, set. 2016. ROUVROY, A. Data Without (Any)Body? Algorithmic governmentality as hyper-disadjointment and the role of Law as technical organ. General Organology Conference, University of Kent, Canterbury, Reino Unido, nov. 2014. ROUVROY, A.; BERNS, T. Gouvernementalité algorithmique et perspectives d’émancipation: Le disparate comme condition d’individuation par la relation ? Réseaux, v. 1, n. 177, p. 163-196, 2013. SAURWEIN, F.; JUST, N.; LATZER, M. Governance of algorithms: options and limitations. info, v. 17, n. 6, p. 35-49, 2015. SHOREY, S.; HOWARD, P. Automation, Big Data, and Politics: A Research Review. International Journal of Communication, v. 10, p. 5032– 5055, 2016. SILVEIRA, S. A. Governo dos Algoritmos. Revista de Políticas Públicas, v. 21, n. 1, p. 267-281, 2017. SOCIAL MEDIA COLLECTIVE RESEARCH BLOG. Critical Algorithm Studies: A Reading List, 2016. Disponivel em: . Acesso em: 6 nov. 2017. TUTT, A. An FDA for Algorithms. Administrative Law Review, v. 69, n. 1, p. 83-123, 2017. VIGNOLA, P. Nietzsche in the Amazon: for a nomadology beyond algorithmic governmentality. Etica & Politica / Ethics & Politics, v. XVIII, n. 3, p. 269-285, 2016. 62 Algoritmos, regulação e governança: uma revisão de literatura (p. 39-62) MACHADO, H. F. de S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, Brasília, v. 4, n. 1, p. 39-62, maio 2018. VUKOV, T. Target Practice: The Algorithmics and Biopolitics of Race in Emerging Smart Border Practices and Technologies. Transfers, v. 6, n. 1, p. 80-97, mar. 2016. WAGNER, B. Algorithmic regulation and the global default: Shifting norms in Internet technology. Etikk i prakis Nordic Journal of Applied Ethics, n. 1, p. 5-13, mar. 2016. WILLIAMSON, B. Decoding identity: Reprogramming pedagogic identities through algorithmic governance. Paper presented at British Educational Research Association conference, University of Sussex, Brighton, Reino Unido, 3 set. 2013. Disponivel em: . Acesso em: 29 nov. 2017. WILLIAMSON, B. Knowing public services: Cross-sector intermediaries and algorithmic governance in public sector reform. Public Policy and Administration, v. 29, n. 4, p. 292–312, maio 2014. YEUNG, K. Algorithmic regulation and intelligent enforcement. Centre for Analysis of Risk and Regulation Discussion Paper Series, n. 84, p. 50- 61, out. 2016a. YEUNG, K. ‘Hypernudge’: Big Data as a mode of regulation by design. Information, Communication & Society, v. 20, n. 1, p. 1-19, maio 2016b. YEUNG, K. Algorithmic Regulation: A Critical Interrogation. Regulation & Governance, Forthcoming, v. 42 p., 2017. Disponivel em: . Acesso em: 27 nov. 2017.