Een recent onderzoek uitgevoerd door onderzoekers van de Stanford Law School heeft significante verschillen aan het licht gebracht in de reacties van chatbots op basis van de raciale en geslachtsconnotaties van de gebruikersnamen. Bijvoorbeeld, een chatbot kan een lager salaris suggereren voor een sollicitant met een naam die Afrikaans-Amerikaans klinkt in vergelijking met een sollicitant met een naam die Europees klinkt. Het onderzoek onderzocht verschillende scenario's, waaronder aankoopbeslissingen, schaakwedstrijden, voorspellingen van openbare ambten, sportranglijsten en sollicitatieadvies, en vond vooroordelen die over het algemeen nadelig waren voor zwarte individuen en vrouwen. De onderzoekers concludeerden dat deze vooroordelen een systematisch probleem zijn binnen AI-chatbots en de stereotypen weerspiegelen die zijn gecodeerd in de trainingsdata.

Het onderzoek benadrukt het belang van het aanpakken van deze vooroordelen en roept zorgen op nu bedrijven steeds meer afhankelijk worden van kunstmatige intelligentie in hun dagelijkse werkzaamheden. Het onderzoek suggereert dat AI-bedrijven het bestaan van vooroordelen moeten erkennen en hun modellen voortdurend moeten testen om schadelijke uitkomsten te verminderen. Het onderzoek erkent echter ook de potentieel noodzaak voor op maat gemaakt advies op basis van sociaaleconomische factoren, zolang dit op een wenselijke en geïnformeerde manier gebeurt.