Eine kürzlich von Forschern der Stanford Law School durchgeführte Studie hat signifikante Unterschiede in den Reaktionen von Chatbots aufgrund von rassistischer und geschlechtlicher Konnotation von Benutzernamen aufgedeckt. Zum Beispiel könnte ein Chatbot einem Bewerber mit einem afrikanisch klingenden Namen einen niedrigeren Gehalt vorschlagen im Vergleich zu einem Bewerber mit einem kaukasisch klingenden Namen. Die Studie untersuchte verschiedene Szenarien, darunter Kaufentscheidungen, Schachpartien, Vorhersagen von politischen Ämtern, Sportplatzierungen und Einstellungsempfehlungen und fand Vorurteile, die schwarze Personen und Frauen im Allgemeinen benachteiligten. Die Forscher kamen zu dem Schluss, dass diese Vorurteile ein systemisches Problem der KI-Chatbots darstellen und die in den Trainingsdaten codierten Stereotypen widerspiegeln.

Die Studie unterstreicht die Wichtigkeit, diese Vorurteile anzugehen und wirft Bedenken auf, da Unternehmen zunehmend auf künstliche Intelligenz in ihren täglichen Betrieb setzen. Die Forschung legt nahe, dass KI-Unternehmen die Existenz von Vorurteilen anerkennen und kontinuierlich ihre Modelle testen sollten, um schädliche Ausgaben zu minimieren. Die Studie erkennt jedoch auch das potenzielle Bedürfnis nach maßgeschneiderten Ratschlägen aufgrund sozioökonomischer Faktoren an, solange dies auf eine wünschenswerte und informierte Weise erfolgt.