Um estudo recente realizado por pesquisadores da Escola de Direito de Stanford revelou disparidades significativas nas respostas de chatbots com base nas conotações raciais e de gênero dos nomes de usuários. Por exemplo, um chatbot pode sugerir um salário mais baixo para um candidato a emprego com um nome que soa afro-americano em comparação com um candidato com um nome que soa caucasiano. O estudo examinou vários cenários, incluindo decisões de compra, partidas de xadrez, previsões de cargos públicos, rankings esportivos e conselhos de contratação, e encontrou preconceitos que geralmente prejudicam indivíduos negros e mulheres. Os pesquisadores concluíram que esses preconceitos são um problema sistêmico nos chatbots de IA e refletem os estereótipos codificados nos dados de treinamento.

O estudo destaca a importância de abordar esses preconceitos e levanta preocupações à medida que as empresas cada vez mais dependem da inteligência artificial em suas operações diárias. A pesquisa sugere que empresas de IA reconheçam a existência de preconceitos e testem continuamente seus modelos para mitigar resultados prejudiciais. No entanto, o estudo também reconhece a potencial necessidade de orientações personalizadas com base em fatores socioeconômicos, desde que seja abordada de maneira desejável e informada.