En nylig rapport fra Anti-Defamation League (ADL) avslører skjevheter mot jøder og Israel i forskjellige store språkmodeller (LLM), inkludert OpenAI's GPT-4, Anthropic's Claude 3. 5, Googles Gemini 1. 5 Pro, og Metas Llama 3-8B. ADLs studie involverte evaluering av 86 utsagn på tvers av flere kategorier, inkludert skjevheter mot jøder og Israel, konspirasjonsteorier, og konflikten mellom Israel og Hamas, med LLM-er som genererte 34, 000 svar fra 8, 600 spørsmål. Funnene indikerte at alle LLM-er viste målbare anti-jødiske og anti-Israel skjevheter, med Metas Llama som viste de mest uttalt og "åpenbart falske" svarene angående jøder og Israel. ADL's administrerende direktør Jonathan Greenblatt understreket potensialet for AI til å forsterke feilinformasjon og bidra til antisemittisme, og etterlyste ansvarlighet og bedre sikkerhetstiltak fra AI-utviklere. Når de ble stilt spørsmål om krigen mellom Israel og Hamas, viste GPT og Claude betydelige skjevheter, med en merkbar motvilje til å svare på Israel-relaterte spørsmål sammenlignet med andre.

ADL kritiserte modellene for deres manglende evne til å avvise antisemittiske trope, og bemerket at, bortsett fra GPT, var alle LLM-er mer skjeve mot jødiske konspirasjonsteorier enn de som involverte ikke-jøder, mens de generelt viste mer skjevhet mot Israel. Som svar hevdet Meta at ADL brukte en utdaterte versjon av deres AI, og påsto at nåværende modeller gir forskjellige svar, spesielt på åpne spørsmål. Google delte dette synet, og uttalte at versjonen av Gemini som ble testet var en utviklermodell, ikke representativ for forbrukerbruk. ADL-representanter understreket det presserende behovet for at selskaper retter opp disse skjevhetene, og foreslo samarbeid med myndigheter og akademiske institusjoner for testing før distribusjon, overholdelse av retningslinjene fra National Institute of Standards and Technology (NIST), og å ta til orde for et regulatorisk rammeverk for å forbedre AI-sikkerhet.