Hiljuti avaldatud raport Antisemitsioonivastase Liiga (ADL) poolt toob välja eelarvamused juutide ja Iisraeli suhtes mitmetes suurtel keeletehnoloogia mudelitel (LLM), sealhulgas OpenAI GPT-4, Anthropic Claude 3. 5, Google'i Gemini 1. 5 Pro ja Meta Llama 3-8B. ADL uuring hõlmas 86 väidet, mis olid jaotatud mitmesse kategooriasse, sealhulgas eelarvamused juutide ja Iisraeli suhtes, vandenõuteooriad ja Iisraeli-Hamas konflikt, kus LLM-d genereerisid 34, 000 vastust 8, 600 ülesandele. Leidud näitasid, et kõik LLM-id näitasid mõõdetavat anti-juudi ja anti-Iisraeli eelarvamust, kusjuures Meta Llama näitas kõige rohkem väljendunud ja "täiesti vale" vastuseid seoses juutide ja Iisraeliga. ADL tegevjuht Jonathan Greenblatt rõhutas, et AI-l on potentsiaal valeinformatsiooni levitamise ja antisemitismi soodustamise osas, kutsudes üles vastutusele ja paremate kaitsete loomisele AI arendajatelt. Vastates küsimustele Iisraeli-Hamas sõja kohta, näitasid GPT ja Claude märkimisväärseid eelarvamusi, märkides siiski, et nad olid vastustest võimalikest Iisraeliga seotud küsimustele vastamisel tagasihoidlikumad.

ADL kriitikas mudelite üle tõdeti, et nad ei ole õigesti tõrjunud antisemiitlikke stereotüüpe, märkides, et välja arvatud GPT, olid kõik LLM-id rohkem kallutatud juudi vandenõuteooriate suhtes kui mittesüsteemselt, samas kui nad näitasid üldiselt rohkem eelarvamust Iisraeli vastu. Meta vastas, et ADL kasutas oma AI-st aegunud versiooni, kinnitades, et praegused mudelid annavad erinevaid vastuseid, eriti avatud küsimuste puhul. Google kordas seda meelt, märkides, et testitud Gemini versioon oli arendajate mudel, mis ei ole tarbijakasutust esindav. ADL esindajad rõhutasid tungivat vajadust ettevõtete poolt nende eelarvamuste parandamiseks, pakkudes välja koostöö valitsuse ja akadeemiliste institutsioonidega enne juurutamist testimiseks, järgides Rahvusliku Standardite ja Tehnoloogia Instituudi (NIST) juhiseid ning toetades regulatiivse raamistiku loomist AI ohutuse suurendamiseks.