AI-chatbottar från ledande teknikföretag som OpenAI och Google har under de senaste månaderna fått förbättrade förmågor till resonemang för att öka pålitligheten i svaren. Men nyare tester visar att vissa av de nyaste modellerna presterar sämre än äldre versioner, och uppvisar ett fenomen som kallas "hallucinationer" – fel där chatbottar genererar falsk information eller ger svar som är faktamässigt korrekta men irrelevanta eller nonchalanta mot instruktioner. Detta problem har funnits sedan starten av stora språkmodeller (LLMs) som OpenAIs ChatGPT och Googles Gemini, och det verkar osannolikt att det helt kan lösas. En teknisk rapport från OpenAI visade att deras modeller o3 och o4-mini, som släpptes i april, hade betydligt högre hallucinationsfrekvenser än den äldre o1-modellen från slutet av 2024: o3 hade en hallucinationsfrekvens på 33 %, o4-mini 48 %, jämfört med 16 % för o1, när man sammanfattade offentligt tillgängliga fakta. På samma sätt visade Vectaras topplista för hallucinationsfrekvenser att vissa resonemangsmotorer – inklusive DeepSeek-R1 – hade märkbara ökningar i hallucinationer jämfört med tidigare modeller, trots deras flerstegsresonemang innan svar. OpenAI hävdar att resonemangsprocesserna inte är den inneboende orsaken till ökningen av hallucinationer och bedriver aktiv forskning för att minska hallucinationerna i alla modeller. Den fortsatta förekomsten av hallucinationer hotar flera tillämpningar: modeller som ofta producerar felaktigheter hindrar forskningsstöd; juristassistansbotar som citerar icke-existerande fall riskerar juridiska fel; kundtjänstbotar med föråldrad information orsakar driftsproblem. Initialt förväntade AI-företagen att hallucinationerna skulle minska över tid, eftersom tidigare modelluppdateringar visade förbättringar. Men de senaste högre nivåerna av hallucinationer utmanar denna syn, oavsett om modellen använder resonemang eller inte. Vectaras topplista visar att hallucinationsfrekvenser är ungefär lika hög i resonemangs- som icke-resonemangsmodeller från både OpenAI och Google, även om de exakta siffrorna är mindre viktiga än de relativa placeringarna.

Google vägrade kommentera. Det finns dock begränsningar med sådana rankningar. De blandar olika typer av hallucinationer; till exempel bestod DeepSeek-R1:s 14, 3 % hallucinationsfrekvens mestadels av "harmlösa" fall – svar som är logiskt rimliga och stöds av kunskap men saknas i källtexten. Dessutom kan tester som enbart bygger på textsammanfattning inte ge en full bild av hallucinationerna i andra uppgifter, eftersom LLMs inte är specifikt utformade för sammanfattning. Emily Bender vid University of Washington påpekar att dessa modeller förutsäger sannolika nästa ord snarare än att aktivt bearbeta information för att förstå texten, vilket gör termen "hallucination" både missvisande och antropomorfiserande. Bender kritiserar "hallucination" eftersom den antyder att felen är avvikande i annars tillförlitliga system och att AI "perceperar" på ett mänskligt sätt, vilket inte är fallet. Arvind Narayanan vid Princeton tillägger att modeller också gör fel genom att förlita sig på opålitlig eller föråldrad data, och att bara lägga till mer träningsdata eller beräkningskraft inte har löst dessa problem. Följaktligen kan det felaktiga AI:et mycket väl vara en bestående verklighet. Narayanan föreslår att man bara ska använda sådana modeller när faktagranskning går snabbare än att göra egen research, medan Bender rekommenderar att undvika att vara beroende av AI-chatbottar för faktainformation helt och hållet.