AI-chatbots fra førende teknologivirksomheder som OpenAI og Google har i de seneste måneder modtaget forbedringer i deres evne til at ræsonnere for at øge pålideligheden af deres svar. Men nylige tests viser, at nogle nyere modeller klarer sig dårligere end ældre versioner, hvilket viser et fænomen kaldet " hallucinationer"—fejl hvor chatbots genererer falsk information eller giver svar, der er faktuelt korrekte men irrelevante eller ikke i overensstemmelse med instruktioner. Dette problem har eksisteret siden etableringen af store sproglige modeller (LLMs) som OpenAIs ChatGPT og Googles Gemini, og det synes usandsynligt, at det vil blive fuldstændigt løst. En teknisk rapport fra OpenAI viste, at deres modeller o3 og o4-mini, udgivet i april, havde væsentligt højere hallucinationsrater end den ældre o1-model fra slutningen af 2024: o3 havde en hallucinationsrate på 33 %, o4-mini 48 %, i forhold til 16 % for o1, når der opsummeres offentligt tilgængelige fakta. Tilsvarende viste Vectaras leaderboard, der overvåger hallucinationsrater, at nogle ræsonneringsmodeller—herunder DeepSeek-R1—oplevede markante stigninger i hallucinationer i forhold til deres forgængere, på trods af deres flerstadie-reasoning inden svar. OpenAI hævder, at ræsonneringsprocesser ikke er årsag til stigningen i hallucinationer, og arbejder aktivt på at finde metoder til at reducere hallucinationer i alle modeller. Vedvarende hallucinationer udgør en trussel mod flere anvendelser: modeller, der ofte producerer falske oplysninger, kan forhindre forskning, paralegal-bots, der henviser til ikke-eksisterende sager, kan føre til juridiske fejl, og kundeservice-bots med forældet information kan skabe driftsmæssige problemer. Oprindeligt forventede AI-virksomheder, at hallucinationerne ville falde over tid, da tidlige modelopdateringer viste forbedringer. Men de seneste højere niveauer af hallucinationer udfordrer denne forventning, uanset graden af ræsonnering. Vectaras leaderboard viser, at hallucinationsrater er omtrent lige høje i modeller med og uden ræsonnering fra OpenAI og Google, selv om de præcise tal er mindre vigtige end den relative placering.

Google ønskede ikke at kommentere. Dog har sådanne rangeringer deres begrænsninger. De blander forskellige typer af hallucinationer; for eksempel var DeepSeek-R1’s 14, 3 % hallucinationsrate primært bestående af "harmløse" tilfælde—svar, der er logisk sammenhængende og understøttet af viden, men som mangler i selve kildeteksten. Desuden kan test baseret udelukkende på tekstopsummering ikke afspejle hallucinationsfrekvenser i andre opgaver, da LLM’er ikke er specielt designet til opsummering. Emily Bender fra University of Washington understreger, at disse modeller forudsiger sandsynlige næste ord, snarere end at behandle information for ægte at forstå teksten, hvilket gør begrebet "hallucination" både misvisende og antropomorfisk. Bender kritiserer "hallucination" som problematisk, fordi det antyder fejl er afvigelser i ellers pålidelige systemer, og tillægger AI menneskelignende perception, hvilket det ikke har. Princeton’s Arvind Narayanan tilføjer, at modeller også fejler ved at relyere på upålidelige eller forældede data, og at blot at tilføje træningsdata eller regnekraft ikke har løst disse problemer. Som følge heraf kan fejlbehæftede AI være en varig realitet. Narayanan foreslår, at man kun bør bruge sådanne modeller, når faktatjek er hurtigere end at foretage egen research, mens Bender anbefaler helt at undgå at stole på AI-chatbots som kilde til faktuel information.