Un recente rapporto della Lega Antisemita (ADL) rivela pregiudizi contro gli ebrei e Israele in vari modelli di linguaggio di grandi dimensioni (LLMs), inclusi GPT-4 di OpenAI, Claude 3. 5 di Anthropic, Gemini 1. 5 Pro di Google e Llama 3-8B di Meta. Lo studio dell'ADL ha coinvolto la valutazione di 86 affermazioni in diverse categorie, incluso i pregiudizi contro gli ebrei e Israele, teorie del complotto e il conflitto Israele-Hamas, con gli LLM che hanno generato 34. 000 risposte da 8. 600 richieste. I risultati hanno indicato che tutti gli LLM hanno mostrato misurabili pregiudizi anti-ebraici e anti-israeliani, con Llama di Meta che ha mostrato le risposte più pronunciate e "manifestamente false" riguardo agli ebrei e Israele. Il CEO dell'ADL, Jonathan Greenblatt, ha sottolineato il potenziale dell'IA di amplificare la disinformazione e contribuire all'antisemitismo, sollecitando responsabilità e migliori salvaguardie da parte degli sviluppatori di IA. Quando rispondevano a domande sulla guerra Israele-Hamas, GPT e Claude hanno mostrato pregiudizi significativi, con una riluttanza notevole a rispondere a domande relative a Israele rispetto ad altre.

L'ADL ha criticato i modelli per il loro fallimento nel respingere adeguatamente i tòpoi antisemiti, notando che, a parte GPT, tutti gli LLM erano più inclini verso le teorie del complotto ebraiche rispetto a quelle che coinvolgevano i non ebrei, mostrando generalmente più pregiudizio contro Israele. In risposta, Meta ha sostenuto che l'ADL ha utilizzato una versione obsoleta della loro IA, asserendo che i modelli attuali forniscono risposte diverse, specialmente per domande aperte. Google ha ribadito questo sentimento, affermando che la versione di Gemini testata era un modello per sviluppatori, non rappresentativa dell'uso da parte dei consumatori. I rappresentanti dell'ADL hanno sottolineato l'urgenza di aziende che correggano questi pregiudizi, suggerendo collaborazioni con istituzioni governative e accademiche per test pre-deploy, l'adesione alle linee guida del National Institute of Standards and Technology (NIST) e l'advocacy per un quadro normativo per migliorare la sicurezza dell'IA.