Recentemente a Amazon abandonou um projeto de uma ferramenta de Inteligência Artificial. Tratava-se de um algoritmo que estava a ser testado e funcionava como ferramenta de recrutamento, mas estava enviesada porque era sexista.
O sistema de inteligência artificial foi treinado em dados referentes a recrutamentos de um período de dez anos, muitos dos quais referiam-se a homens. Entretanto, os desenvolvedores da ferramenta perceberam que o sistema havia aprendido que candidatos do sexo masculino eram preferíveis. O sistema avaliava e atribuía aos candidatos uma pontuação que variava de uma a cinco estrelas.
O intuito era que o sistema recebesse os currículos e, automaticamente, indicasse os melhores para serem contratados. O preconceito, aprendido com os dados estava claro: o sistema não estava avaliando candidatos de maneira neutra em termos de sexo, porque foi construído com base em dados de currículos, principalmente, de homens. Assim, o algoritmo penalizava currículos que incluíam a palavra “mulher” o que inviabilizava o seu uso de uma forma neutra e confiável.
Claro que o uso da tecnologia será cada vez mais importante nas tarefas de recrutamento, não sendo à toa que cerca de 55% dos gerentes de recursos humanos dos EUA acreditam que a IA terá um papel relevante no recrutamento nos próximos cinco anos, de acordo com uma pesquisa da empresa de software CareerBuilder.
Liga de Justiça Algorítmica
A grande questão é sobre como criar algoritmos confiáveis treinados a partir de dados potencialmente tendenciosos que nem sempre são suficientemente diversificados.
E esse é um problema histórico no desenvolvimento de algoritmos de tomada de decisões. Por exemplo, há alguns anos, os sistemas de reconhecimento de imagem não conseguiam identificar faces de pessoas negras (teve até um caso em que os rostos de jovens negros foram identificados como gorilas, pela ferramenta de buscas do Google). Esse facto levou ao lançamento da Liga de Justiça Algorítmica (AJL) em 2016, por Joy Buolamwini, uma estudante de pós-graduação no Instituto de Tecnologia de Massachusetts, depois dela ter descoberto que o reconhecimento facial só via o seu rosto se ela usasse uma máscara branca.
Outros casos de IA preconceituosa
Noutro caso veiculado na imprensa há um tempo, um programa de computador de inteligência artificial que era usado por um tribunal dos EUA, tinha um viés contra negros, indicando que eles tendiam a ser duas vezes mais reincidentes em crimes que os brancos. O problema é que os dados sobre os quais foram treinados tinham mais detenções referentes a pessoas negras.
Em outro caso de preconceito por conta de dados, a polícia do Reino Unido foi acusada por um grupo de direitos humanos de se basear em algoritmos para decidir se manteria ou não um infrator na prisão com base em sua idade, sexo e endereço de residência.
Podemos citar também o caso do chatbot da Microsoft (chamado de Tay) que foi lançado no Twitter em 2016. O bot que aprendia por meio da conversa em tempo real com humanos, foi alvo de racistas e trolls que ensinaram que ele deveria defender a supremacia de pessoas brancas, devia apoiar o genocídio e expressar admiração por Hitler.
Um estudo mostrou que o software treinado com base nos dados do Google News se tornou sexista. Quando pedido para completar a declaração, “O homem está para programador de computador, assim como mulher está para X”, o software respondeu “dona de casa”.
Ajustamentos em tempo real
Na tentativa de combater esses problemas, a IBM está a desenvolver uma ferramenta (o Fairness 360) que analisará como e por que os algoritmos tomam decisões em tempo real. O intuito é procurar sinais de preconceito e recomendar ajustes, já que dados usados por muitas empresas podem gerar sistemas que não sejam justos nas suas tomadas de decisão.
À medida que esses sistemas fazem parte de grandes empresas e ajudam no processo de tomada de decisões, como segurança pública, recrutamento, etc, as implicações das suas recomendações devem ser ajustadas e bem conduzidas para evitar atitudes preconceituosas.
A Microsoft também está a desenvolver ferramentas para deteção de preconceitos e o próprio Facebook também testa ferramentas que ajudem a determinar se um algoritmo é tendencioso.
Quando treinamos máquinas usando a nossa cultura como base, necessariamente transferimos os nossos próprios preconceitos. É uma tarefa muito difícil encontrar uma maneira “matemática” de criar justiça. O preconceito aprendido por uma máquina mostra apenas que ela, infelizmente, está detetando algo embutido na nossa sociedade. O grande problema, portanto, somos nós e não as máquinas.
Os algoritmos são importantes e devem fazer parte do nosso dia a dia mas precisamos urgentemente de aumentar o debate em torno da inteligência artificial e seu uso de maneira ética.
