Por André Pasti e Marina Pita
A revelação de que um pesquisador ligado a um fundo de financiamento do Departamento de Defesa norte-americano que analisa formas de reprimir agitações civis participou dos experimentos da maior rede social do mundo, o Facebook, criou um alerta. Tais experimentos buscavam “medir” humor e comportamento de cerca de meio milhão de usuários a partir do controle de suas linhas do tempo.
Esse fato permite elaborar uma série de suposições interessantes – e orwellianas – sobre como esses experimentos podem ser usados no futuro e o que revelam sobre os usos atuais das tecnologias. Mais importante do que o fato isolado é pensar que se hoje as nossas reações são moldadas no Facebook por algoritmos cujo funcionamento é opaco – blindado para nós –, esse recurso tecnológico deve tomar diversas outras esferas sociais e econômicas e será cada vez mais predominante em nossas vidas.
Para não nos acusarem de instaurar o pânico ou corroborar com teorias da conspiração, vale lembrar que o algoritmo é uma ferramenta de tecnologia. Os algoritmos são conjuntos de regras e procedimentos lógicos definidos por programação para desempenhar certas atividades. Não são nada novos na computação, mas seu uso tem crescido para fazer a mediação de muitas atividades de nossa vida real. Eles podem resolver muitas demandas e problemas.
Atualmente, eles são usados para o processamento de uma gigantesca quantidade de informações (o tal do “Big Data”, de que tanto se fala), podendo trazer apontamentos sobre a realidade que o processamento de dados em menor escala não é capaz de fazer. Sobre isto, vale ler O Andar do Bêbado, de Leonard Mlodinow, que fala sobre a escala necessária de processamento de dados para se encontrar resultados fidedignos da realidade.
Os algoritmos têm um potencial muito grande de apoio à solução de problemas, mas também têm, em teoria, o mesmo potencial de aprofundar problemas. Na epidemia de zika, dengue e chikungunya, que nosso país enfrenta, por exemplo, o algoritmo pode ser decisivo para ler exames e testes e ajudar a reconhecer a presença de vírus quando a ciência ainda não desenvolveu um método perfeito para identificação das doenças separadamente.
Tecnologia x Política
Os algoritmos, assim como os textos, filmes e músicas, não são “neutros”. Partem de contextos sociais, da cultura em que os desenvolvedores estão inseridos e são códigos que promovem certas seleções, escolhas e prioridades, descartando outras. Ao mesmo tempo, como os algoritmos estão mediando toda a nossa comunicação e diversas outras questões cotidianas – de segurança na cidade a acesso a serviços e produtos, definição de trajetos, informações sobre o clima, notícias sobre o mundo etc. –, eles são parte ativa da produção cultural. Por isso é importante discutir a “política” desses algoritmos e combater a visão difundida de sua suposta neutralidade.
No mundo atual, os potenciais tecnológicos e científicos têm sido usados primordialmente para avanços em acumulação de capital e geração de lucro para uma pequena parcela da sociedade e para um pequeno grupo de corporações. A ciência e o conhecimento, de modo geral, seguem concentrados em poucas universidades – geralmente centros de excelência financiados por grandes corporações –, localizadas em alguns países e comandadas por homens brancos que, por sua vez, não são afetados por problemas de discriminação e desigualdade social, estando à parte disso.
Movimentos sociais e organizações do terceiro setor, por exemplo, não trabalham com recursos em volume suficiente para garantir que o potencial do uso de algoritmos para soluções de problemas da humanidade se desenvolva concretamente. E, vale lembrar ainda, que boa parte das empresas de tecnologia tem compromissos legais, comerciais e base ideológica sediada na maior potência imperialista do mundo, os Estados Unidos.
Pensar os impactos dessas tecnologias na cultura, nos hábitos, nos cotidianos, e seu controle por poucos agentes torna-se importantíssimo. Se podemos ter tecnologias que permitem um mundo muito mais humano e democrático, precisamos refletir se elas estão sendo utilizadas para produzir este outro mundo ou se estão sendo elaboradas para perpetuar, aprofundar e ampliar a escala das desigualdades socioeconômicas e socioespaciais.
Códigos x Discriminação
Há diversos casos discutidos no mundo sobre propagação de racismo nesses algoritmos e de censura automática a manifestações de mulheres que mostram os seios, por exemplo. Como boa parte da nossa comunicação, dos sistemas de vigilância e dos algoritmos utilizados nas bases de saúde, por exemplo, é baseada em algoritmos de empresas que não são brasileiras, os mesmos casos de discriminação em buscas, filtros de redes sociais em manifestações de mulheres e outras questões de discriminação em algoritmos ocorrem também aqui no Brasil.
Um exemplo relatado por Daniela Silva (RodAda Hacker), no blog #AgoraÉQueSãoElas, é a discriminação de gênero na questão da maternidade/paternidade e na gravidez no Facebook. Daniela afirmou que não teve a opção de escolher o momento de informar ao Facebook sobre sua gravidez. Mesmo assim, sua timeline foi transformada, pelos algoritmos, em “textos sobre maternidade, fotos de bebês, imagens de grandes barrigas” (o que não acontece com homens).
Outro exemplo muito interessante foi a ação movida judicialmente pelo (dizimado) Ministério da Cultura, à época sob o comando do antenado Juca Ferreira, contra o Facebook, em razão da discriminação (e remoção) de fotos de casais indígenas por conta do algoritmo que impede seios aparentes. É um caso clássico de desconsideração do contexto cultural brasileiro pelo algoritmo e de não reconhecimento da diversidade. No limite, essa regra impede uma grande quantidade de etnias indígenas de participar da rede social online de maior alcance no País.
Duas falas do ex-ministro chamam a atenção: “Eles [Facebook] alegaram que têm normas próprias da empresa, que aplicam globalmente, e não se submetem a legislações nacionais” e “essas corporações globais operam na internet, tentando monopolizar esse espaço, impondo normas sem transparência, desrespeitando os contextos culturais”.
Esse fenômeno de um maior impacto dos algoritmos – desde o cotidiano das pessoas até decisões políticas – ocorre ao mesmo tempo que a internet atinge certa “maturidade”, o que inclui a consolidação de atores econômicos dominantes que têm interesse no fechamento de portas para novos atores na rede. Há, ao mesmo tempo, e em retroalimentação, uma maior concentração de usuários nessas plataformas. Esse fenômeno aumenta o poder e os riscos dos algoritmos das grandes da web.
É preciso cobrar das empresas, organizações e governos que estão responsáveis por esses algoritmos, que eles sejam debatidos e avaliados para evitar a produção ou perpetuação de discriminações por meio desses códigos. As formas em que a sociedade poderá influenciar a produção e uso de algoritmos ainda está em debate. Há experiências acadêmicas interessantes de fiscalização de códigos, como a criação de centenas de perfis falsos que permitem análise das respostas dos algoritmos. Mas pedir acesso aos algoritmos para auditoria ainda é considerado um absurdo.
Ainda há muito a se conhecer sobre os impactos desses códigos na tomada de decisões cotidianas. Em algumas áreas, como segurança, eleições e tudo que é mediado pelo poder público, é necessário pressionar para que sejam utilizados mais códigos abertos, que possam ser auditados, questionados e melhorados e que sejam transparentes para a comunidade. O objetivo deve ser garantir isonomia e evitar discriminações de todos os tipos.
Nem sempre será possível prever os resultados dos processamentos de dados, mas é fundamental que existam formas de precaver controle de condutas, manipulação de resultados e outras soluções ilegais. Além disso, é preciso avaliar se a ampliação de uso de algoritmos em processos que são hoje feitos de forma analógica (sem algoritmos) traz benefícios reais e melhorias para os serviços. No caso dos equipamentos, sistemas e algoritmos aplicados na segurança pública, não há evidências que comprovem a necessidade de tais investimentos.
Uma ativista pela democracia nos meios de comunicação e do movimento negro nos Estados Unidos, Malkia Cyrill, do Center for Media Justice, disse – em entrevista para o documentário Freenet: “Não importa qual é o objetivo que se quer alcançar, mas os resultados práticos que se alcança”. Assim, se um governo ou uma empresa quer mostrar que há comprometimento com direitos humanos, vale mostrar, por meio de auditoria, por exemplo, que os resultados são aqueles buscados, sem desvios significativos, sem manipulações discriminatórias.
*André Pasti é integrante do Intervozes, além de geógrafo, programador e professor do Cotuca/Unicamp. Marina Pita é jornalista, integrante do Conselho Diretor do Intervozes e está no projeto Mídia, Zika e Direitos das Mulheres do Instituto Patrícia Galvão.