As batalhas ideológicas do século XXI serão sobre os indicadores de equidade dos algoritmos de machine learning

As decisões baseadas em algoritmos são a grande esperança para diminuir o efeito do preconceito humano na tomada de decisões. Milhares e milhares de estudos apontam que minorias e mulheres são consistentemente discriminadas por policiais, juízes, empresários e por todas as outras profissões com decisões subjetivas sobre punições e promoções.

A definição de critérios pré-estabelecidos por parte de algoritmos de machine learning traz a promessa de decisões livres de preconceitos, mas notícias recentes têm demonstrado que ainda temos um longo caminho a percorrer. O problema começa com quem está criando esses algoritmos de machine learning, caracterizado em um artigo recente do New York Times como “artificial intelligence's white guy problem”. A falta de consciência social por parte dos criadores desses algoritmos tem levado a alguns escândalos recentes.

Por exemplo, algoritmos de machine learning têm sido muito utilizados nos EUA para predizer risco de reincidência criminal, com o objetivo de auxiliar na tomada de decisão por parte dos juízes. Recentemente, entretanto, têm sido encontrados indícios de que os algoritmos consistentemente predizem maior risco de reincidência para negros, como mencionado em uma reportagem recente da The Atlantic. Isso faz sentido, já que, para um mesmo exato crime cometido, negros têm maior chance de serem condenados do que brancos. Assim, o algoritmo estaria contribuindo para que essa desigualdade que existe há décadas no sistema criminal se mantenha para sempre.

Nesse caso, a solução é clara. Ninguém quer que algoritmos perpetuem injustiças históricas, o que significa que esses algoritmos precisam ser corrigidos. Por outro lado, existem alguns problemas mais complexos que teremos de enfrentar em breve. Não estamos muito longe, por exemplo, de serem utilizados algoritmos para identificar prioridades para a realização de cirurgias, com o objetivo de selecionar pacientes que se beneficiarão mais do procedimento.

Isso pode se tornar um grande problema. A tendência inicial do algoritmo será necessariamente selecionar pacientes de maior renda, já que esses têm mais tempo e recursos para a recuperação completa e, portanto, apresentarão maiores benefícios da cirurgia. Do ponto de vista de eficiência pura faz sentido priorizar essas pessoas, mas será que é isso mesmo que queremos? A existência desses "algoritmos preconceituosos" já é uma realidade, o que traz a necessidade da introdução de indicadores de equidade aos modelos. Com isso, em uma situação em que dois pacientes tenham uma predição de taxa de recuperação parecida, seria dada prioridade para o paciente com renda mais baixa.

Com a automatização das decisões por meio de algoritmos, os indicadores de equidade serão o motivo de um grande número de brigas ideológicas. Por um lado, libertários dirão que a eficiência deve ser o objetivo, por outro lado, progressistas dirão que a prioridade deve ser a justiça social, mesmo que isso leve a um pior resultado agregado. 

Não estamos muito longe desse futuro. Se você costuma participar de manifestações de rua, você provavelmente ainda vai levantar muitos cartazes com a sua opinião sobre os indicadores de equidade.