Manuel Pascual – El País
Imagine que fosse possível saber as probabilidades de que um recém-nascido vá ser maltratado durante seus primeiros cinco anos de vida. Valeria a pena investir recursos para ter essa informação? Certamente, seria útil para os serviços de assistência social: ter uma lista das crianças com maior risco permitiria monitorar sua situação.
Foi essa visão que impulsionou o desenvolvimento, na Nova Zelândia, de um sistema que, com base em 132 variáveis (idade dos pais, saúde mental, antecedentes criminais, beneficiários ou não de ajudas…), dava uma pontuação sobre as possibilidades que os recém-nascidos tinham de sofrer maus-tratos. O programa foi divulgado em 2014 e encerrado no ano seguinte, graças a uma investigação que demonstrou que o sistema errava em 70% dos casos.
O motor desse programa era um algoritmo, ou seja, uma receita ou conjunto de instruções que se aplica em um conjunto de dados de entrada para resolver um problema. Você pode achar que o mais perto que está em sua vida diária de um algoritmo é quando faz uma busca no Google. Ou quando o Spotify descobre uma banda que combina com seus gostos musicais. Nada disso: nadamos entre eles. Muitas vezes, é um algoritmo que decide se você merece ou não uma oferta de trabalho interessante. Ou se é conveniente para um banco conceder-lhe um empréstimo.
Os algoritmos estão em todos os lados. O exemplo da Nova Zelândia coloca duas questões de peso na mesa. Em primeiro lugar, eles não são usados apenas por empresas privadas: as instituições públicas também recorrem a eles para tomar decisões relevantes. Em segundo lugar, os algoritmos erram, e esses erros podem arruinar sua vida.
A matemática e ativista Cathy O’Neil diz que os algoritmos são “opiniões fechadas em matemática”. Dependendo de quem construa esses modelos, quais variáveis leve em conta e com que dados os alimente, o resultado será um ou outro. “Geralmente achamos que os algoritmos são neutros, mas não é assim. Os vieses são estruturais e sistêmicos, têm pouco a ver com uma decisão individual”, explica Virginia Eubanks, professora de Ciências Políticas da Universidade de Albany (Nova York) e autora de Automating Inequality (“automatizando a desigualdade”), um livro que investiga os vieses socioeconômicos dos algoritmos com um subtítulo significativo: How High-Tech Tools Profile, Police, and Punish the Poor (“como as ferramentas tecnológicas perfilam, controlam e punem os pobres”).
Eubanks fala em seu livro do sistema da Nova Zelândia citado e de muitos outros em funcionamento nos Estados Unidos. Um deles determina quem dos 60.000 sem-teto de Los Angeles tem direito a receber ou não alguma ajuda pública; outro, supostamente projetado para conceder benefícios sociais de maneira objetiva em Indiana, teve de ser fechado quando se descobriu que encorajava cortes de verbas do Governo, que coincidentemente estava com um orçamento apertado, ao deixar fora do sistema contribuintes que reuniam os requisitos para receber os benefícios.
Há exemplos mais impressionantes. No condado de Allegheny (Pittsburgh, Pensilvânia), um algoritmo do Escritório de Crianças, Jovens e Famílias tenta prever o comportamento futuro dos pais para evitar abusos ou maus-tratos. Faz isso especulando o que é provável que os sujeitos analisados façam, com base nos patrões de comportamento que mostraram indivíduos similares no passado.
Todo isso a partir de dados públicos, o que por si só, como demonstra a autora, já é uma grande discriminação socioeconômica (nos EUA, quem recorre ao sistema público é quem não pode pagar o privado). Escola pública, departamento de habitação, serviço de apoio ao desempregado, polícia do condado… as pessoas que se relacionam com essas instituições são mais pobres do que ricas, sem dúvida. E nos EUA, os pobres são, na maioria, negros, latinos e membros de outras minorias étnicas.
As famílias ricas, explica Eubanks, também podem ser disfuncionais, mas o sistema do condado de Allegheny não reconheceria isso: as clínicas de desintoxicação e os psiquiatras, por exemplo, não estão dentro do sistema público e, portanto, não computam para o algoritmo. “É correto que o sistema castigue desproporcionalmente aos mais vulneráveis? Os mais ricos tolerariam que seus dados fossem usados desse modo? É claro que não”, afirma, indignada, a nova-iorquina. “Devemos refletir sobre o que estamos fazendo, o que diz de nós como sociedade automatizar a decisão sobre se os pais cuidam bem ou mal de seus filhos”, acrescenta.
“Nos níveis mais altos da economia, são os seres humanos que tomam as decisões, embora utilizem os computadores como ferramentas úteis. Mas nos níveis intermediários, e principalmente nos mais baixos, grande parte do trabalho é automatizada”, escreve O’Neil no livro Weapons of Math Destruction (“armas de destruição matemática”). Se, durante uma entrevista de emprego em um renomado escritório de advocacia, o nome de um candidato formado na Faculdade de Direito de Stanford aparecer no sistema associado a uma prisão pela criação de um laboratório de metanfetamina, o entrevistador vai dar risada, achando que a máquina se enganou, e continuará com a entrevista. Já se um algoritmo determinar que um pai não é suficientemente responsável, os riscos para ele não serão nem um pouco engraçados.
Cidadãos solventes
Para aqueles que vivem nos EUA, há algoritmos que os classificam como cidadãos solventes ou não em função das probabilidades de que devolvam um empréstimo, calculadas com base em seu histórico de crédito, nível de renda e outros dados. Sua pontuação determinará a taxa de juros que os bancos lhes oferecerão, o que no caso de uma hipoteca pode significar milhares de dólares de diferença ao ano. Isso pode afetar até mesmo suas oportunidades de trabalho, porque há empresas que não confiam em quem tem dívidas.
Os modelos sofisticados que decidem a qualificação de crédito das pessoas não são transparentes. “Essa ferramenta é decisiva demais no sucesso ou fracasso das pessoas para que funcione envolta em segredo”, afirma Frank Pasquale. Este jurista, professor de Direito na Universidade de Maryland, publicou em 2015 The Black Box Society − The Secret Algorithms that Controle Money and Information (“a sociedade da caixa-preta − os algoritmos secretos que controlam dinheiro e informação”), um livro que analisa a opacidade dos algoritmos que mais afetam nossa vida.
As informações vazadas por Edward Snowden demonstraram que a Agência de Segurança Nacional dos EUA usa dados de empresas como Google e Facebook para vigiar os cidadãos. E essas empresas, que desfrutam de uma posição quase monopolista no mercado, sabem quase tudo sobre nós. “Talvez não sejamos capazes de frear a coleta de dados sobre nós mesmos, mas podemos regular como eles são usados”, ressalta Pasquale. “Existem empresas que fazem um certo perfil das pessoas e com base nele estruturam oportunidades para cada indivíduo. Por exemplo, sabemos que há certos produtos imobiliários, financeiros ou médicos que são oferecidos às pessoas mais vulneráveis com mensagens às vezes fraudulentas”, explica.
“Estamos construindo uma grande representação em 3D e em tempo real do mundo. Um registro permanente de nós mesmos. Mas que significado têm esses dados?”, perguntava em 2015 o professor de mídias digitais Taylor Owen em seu artigo “The Violence of Algorithms” (“a violência dos algoritmos”), publicado na revista Foreign Affairs. A resposta é perturbadora. Muitas das falhas dos algoritmos usados em questões sociais têm relação com um erro básico: os algoritmos trabalham com probabilidades, não com certezas. Frequentemente se confundem as duas coisas.
Regras claras
Se não forem estabelecidas regras claras em torno da utilização de dados, em breve poderemos ter alguma surpresa desagradável. Por exemplo, depois que as empresas tiverem acumulado enormes quantidades de informação sobre a saúde de seus funcionários, pergunta O’Neil em seu livro, o que as impedirá de elaborar avaliações de saúde e usá-las para filtrar os candidatos a um posto de trabalho? Muitos dos dados que podem ser utilizados nessa tarefa, como os passos dados em um dia e os patrões de sono, não estão protegidos por lei e é legal usá-los. Se as empresas rejeitam candidatos por sua avaliação de crédito, faria sentido que também fizessem isso com base em sua saúde.
Mas não nos adiantemos aos acontecimentos. O que sabemos hoje é que os algoritmos demonstram ter preconceitos raciais e de gênero quando são encarregados de seleção de pessoal. Diante da avalanche de currículos que muitas das grandes multinacionais americanas costumam receber, é muito comum que cada empresa desenvolva leitores de curriculum vitae para fazer uma primeira filtragem. E essas filtragens não são neutras. Um grupo de pesquisadores do MIT enviou em 2002, quando esses sistemas ainda não estavam generalizados, 5.000 currículos em resposta a ofertas de emprego publicadas em jornais. Metade dos perfis inventados tinha nomes tipicamente brancos, como Emily Wash, e a outra metade tinha nomes tipicamente negros, como Jamaal Jones.
Os resultados foram significativos: os perfis brancos receberam um número 50% maior de ligações. Os vieses de gênero também são comuns na seleção de pessoal. O’Neil explica em seu livro como a introdução de biombos nas audições de músicos multiplicou por cinco a presença feminina nas orquestras que apostaram nessa prática.
Em um artigo já clássico assinado por um grupo de professores da Universidade de Boston, os autores demonstraram que os sistemas de aprendizado de máquina (machine learning) têm vieses sexistas porque na fonte de dados mais comum, a Internet, existem muitas associações de conceitos que levam a máquina a estabelecer correlações como “dona de casa − ela” e “gênio − ele”. Ou seja, o algoritmo reproduz os vieses existem efetivamente nos registros.
Robôs sociais
A engenheira de computação americana de origem ganense Joy Buolamwini percebeu num belo dia, quando estudava no MIT, que um robô no qual trabalhava não era capaz de reconhecer seu rosto. Meses depois, aconteceu o mesmo com um robô social que ela testou durante uma visita a Hong Kong. Quando colocava uma máscara branca, a coisa mudava.
Casualidade? Acontece que os dois sistemas tinham usado o mesmo software de reconhecimento facial baseado em machine learning. “Se seu rosto se desviar muito dos padrões que você deu ao sistema para que ele aprenda, ele não o detectará, como ocorreu comigo”, conta Buolamwini em uma palestra cujo vídeo no YouTube acumula mais de um milhão de visualizações. “Os algoritmos, assim como os vírus, podem propagar distorções em larga escala e em ritmo acelerado”, acrescenta. Esse tipo de erro é muito comum.
Sem ir mais longe, há alguns anos o Google etiquetou três jovens negras como gorilas. A pesquisadora decidiu agir: fundou a Algorithmic Justice League para denunciar os vieses dos algoritmos, servir de alto-falante para que as pessoas exponham casos de abuso e desenvolver códigos de boas práticas no desenvolvimento desses sistemas.
Na Europa também há organizações que monitoram os algoritmos. Duas das mais importantes foram fundadas por Lorena Jaume-Palasí. Formada em filosofia, essa espanhola de Maiorca se interessa há muito tempo pela dimensão ética da automação e digitalização. Ela é cofundadora da AlgorithmWatch, uma organização com sede em Berlim (onde reside) que analisa a ética dos processos algorítmicos. Recentemente, abandonou a ONG e fundou outra, The Ethical Tech Society, que se concentra na relevância social dos sistemas automáticos. “O debate que temos há anos sobre os sistemas algorítmicos se baseia mais no medo do que em riscos reais. Era preciso criar uma ONG que apresentasse posições normativas baseadas em fatos”, explica.
Boa parte dos erros poderia ser detectada e solucionada facilmente. Como as equipes que desenvolvem os algoritmos não são interdisciplinares (não entendem de direito, sociologia ou ética), criam sistemas que, do seu ponto de vista, estão muito bem feitos. Embora atuem em áreas nas quais não têm formação e tão complexas como as de educação, saúde e outros serviços públicos. “As métricas para avaliar estes sistemas são desenvolvidas pelas mesmas pessoas que os criaram, é um círculo vicioso: estão medindo o que acreditam que têm de medir”, assinala Jaume-Palasí. Ela quer desenvolver padrões de boas práticas e contribuir para que a tecnologia cumpra seu propósito e não atrapalhe. Na Ethical Tech Society, trabalha em novos métodos para avaliar esses sistemas. “Desenvolvi um teste de penetração ético. Os hackers usam testes de penetração para entender qual é a integridade ou vulnerabilidade de um sistema. Para mim, eles servem para ver se há algum tipo de lacuna ou conflito ético.”
Isso ajudará a evitar o desenvolvimento de mais algoritmos como os denunciados por Eubanks? Talvez. A população europeia está a salvo desses algoritmos, presentes nos EUA e, em grau superlativo, na China? Não. “Encontrei um caso alarmante na Espanha, um sistema usado por instituições estatais”, alerta Jaume-Palasí. “Estou negociando com eles para que parem de usá-lo. Se eles não concordarem, vocês ficarão sabendo.”