Niedawne badanie przeprowadzone przez naukowców z Wydziału Prawa Uniwersytetu Stanford ujawniło istotne różnice w reakcjach chatbotów w zależności od rasowych i płciowych konotacji nazw użytkowników. Na przykład, chatbot może sugerować niższą pensję dla kandydata do pracy o brzmieniu afroamerykańskim w porównaniu do kandydata o brzmieniu kaukaskim. Badanie objęło różne scenariusze, w tym decyzje dotyczące zakupów, rozgrywki szachowe, przewidywanie zajmowania stanowisk publicznych, rankingi sportowe i porady rekrutacyjne, i wykazało uprzedzenia, które były generalnie niekorzystne dla osób czarnoskórych i kobiet. Naukowcy doszli do wniosku, że te uprzedzenia są systemowym problemem w chatbotach opartych na sztucznej inteligencji i odzwierciedlają stereotypy zakodowane w danych szkoleniowych.

Badanie podkreśla konieczność rozwiązania tych uprzedzeń i budzi obawy, ponieważ przedsiębiorstwa coraz bardziej polegają na sztucznej inteligencji w codziennych operacjach. Badania sugerują, że firmy zajmujące się sztuczną inteligencją powinny rozpoznawać istnienie uprzedzeń i regularnie testować swoje modele, aby złagodzić szkodliwe wyniki. Jednak badanie również uznaje potencjalną potrzebę dostosowanych porad opartych na czynnikach społeczno-ekonomicznych, pod warunkiem, że jest to podejścia pożądane i oparte na wiedzy.