En nyligen genomförd studie utförd av forskare vid Stanford Law School har avslöjat betydande skillnader i svar från chattrobotar baserat på ras- och könssignaler i användarnamn. Till exempel kan en chattrobot föreslå en lägre lön för en jobbkandidat med ett namn som låter afroamerikanskt jämfört med en kandidat med ett namn som låter kaukasiskt. Studien undersökte olika scenarier, inklusive inköpsbeslut, schackmatcher, förutsägelser om allmänna ämbeten, sportrankningar och anställningsråd, och fann fördomar som generellt var till nackdel för svarta personer och kvinnor. Forskarna drog slutsatsen att dessa fördomar är ett systemiskt problem inom AI-chattrobotar och återspeglar stereotyperna som kodats in i träningsdata.

Studien belyser vikten av att adressera dessa fördomar och väcker oro när företag alltmer förlitar sig på artificiell intelligens i sin dagliga verksamhet. Forskningen föreslår att AI-företag bör erkänna existensen av fördomar och kontinuerligt testa sina modeller för att minska skadliga resultat. Dock erkänner studien också det potentiella behovet av skräddarsydda råd baserat på socioekonomiska faktorer, så länge det närmar sig på önskvärt och informerat sätt.