Stanford Hukuk Okulu'ndaki araştırmacılar tarafından yapılan son bir çalışma, kullanıcı isimlerinin ırksal ve cinsiyet çağrışımlarına dayanan sohbet botlarının yanıtlarında önemli farklılıklar ortaya koyduğunu ortaya çıkardı. Örneğin, bir sohbet botu, Afrika kökenli olduğunu düşündürdüren bir adı olan bir iş adayı için, Kafkasyalı olduğunu düşündürdüren bir adı olan bir adaydan daha düşük bir maaş önerisi sunabilir. Çalışma, satın alma kararları, satranç maçları, kamu görevi tahminleri, spor sıralamaları ve işe alım konusunda çeşitli senaryoları inceledi ve genellikle Siyah bireylere ve kadınlara dezavantajlı olan önyargıları buldu. Araştırmacılar, bu önyargıların yapay zeka sohbet botlarında sistemik bir sorun olduğunu ve eğitim verilerine kodlanan stereotipleri yansıttığını sonuçlandırdı.

Çalışma, bu önyargıların ele alınmasının önemini vurguluyor ve işletmelerin günlük operasyonlarda yapay zekaya daha çok güvendiği konusunda endişeler uyandırıyor. Araştırma, yapay zeka şirketlerinin önyargıların varlığını kabul etmeleri ve zararlı çıktıları azaltmak için modellerini sürekli olarak test etmeleri gerektiğini önermektedir. Bununla birlikte, çalışma istenilen ve bilinçli bir şekilde ele alındığı sürece sosyo-ekonomik faktörlere dayalı özelleştirilmiş tavsiyelerin potansiyel ihtiyacını da kabul etmektedir.