AI chatbotovi vodećih tehnoloških tvrtki poput OpenAI i Google u posljednjim su mjesecima primali poboljšanja u razmišljanju radi unaprjeđenja pouzdanosti odgovora. Međutim, nedavni testovi otkrivaju da neki noviji modeli rade lošije od ranijih verzija, pokazujući fenomen nazvan "halucinacije" — pogreške u kojima chatboti generiraju lažne informacije ili daju odgovore koji su faktički točni, ali su nerelevantni ili neusklađeni s uputama. Ovaj je problem prisutan još od početka velikih jezičnih modela (LLMs) poput ChatGPT-a od OpenAI i Googleovog Gemini, te se čini da će biti teško potpuno ga riješiti. Tehničko izvješće OpenAI-a pokazuje da su njegovi modeli o3 i o4-mini, objavljeni u travnju, imali znatno veću stopu halucinacija od starijeg modela o1 s kraja 2024. : o3 je imao stopu halucinacija od 33 %, o4-mini 48 %, u usporedbi s 16 % za o1, pri sažimanju javno dostupnih podataka. Slično tome, Vectarina lista najboljih modela koji prate stope halucinacija otkrila je da su neki modeli razmišljanja — uključujući DeepSeek-R1 — zabilježili značajan porast halucinacija u usporedbi s prethodnicima, iako koriste višestupanjski proces razmišljanja prije odgovora. OpenAI ustvrđuje da procesi razmišljanja sami po sebi nisu razlog za porast halucinacija i aktivno istražuje načine za smanjenje halucinacija u svim modelima. Očuvanje ovog problema prijeti brojnim primjenama: modeli koji često generiraju neistine otežavaju istraživačku pomoć; paralegal botovi koji citiraju nepostojeće slučajeve mogu prouzročiti pravne pogreške; chatbotovi za korisničku podršku s zastarjelim informacijama uzrokuju operativne probleme. Isprva su tvrtke za umjetnu inteligenciju očekivale da će halucinacije s vremenom opadati, jer su prve nadogradnje modela pokazale poboljšanja. No, nedavne veće razine halucinacija izazivaju sumnju u takvu prognozu, bez obzira na razinu razmišljanja. Vectarina lista otkriva da su stope halucinacija otprilike jednake kod modela s razmišljanjem i bez njega, od OpenAI-a i Googlea, iako točan broj nije toliko važan koliko relativne pozicije.

Google je odbio komentirati. Međutim, takve ljestvice imaju svoja ograničenja. One miješaju različite vrste halucinacija; na primjer, stopa od 14, 3 % za DeepSeek-R1 uglavnom se sastojala od "benignih" slučajeva — odgovora koji su logično ispravni i podržani znanjem, ali nedostaju u izvoru. Osim toga, testiranje isključivo na temelju sažimanja teksta možda ne odražava učestalost halucinacija u drugim zadacima, jer LLM-ovi nisu posebno dizajnirani za sažimanje. Emily Bender s Sveučilišta u Washingtonu ističe da ti modeli predviđaju vjerojatne sljedeće riječi, a ne obrađuju informacije za istinsko razumijevanje teksta, te je pojam "halucinacija" u tom kontekstu zbunjujući i antropomorfizirajući. Bender kritizira "halucinaciju" jer implicira da su pogreške izuzetci u inače pouzdanim sustavima te pridaje ljudska perceptivna svojstva AI-u, koja ne "percipira" u nikakvom smislu. Arvind Narayanan s Princetona dodaje da modeli također griješe jer se oslanjaju na nepouzdane ili zastarjele podatke, a dodavanje više podataka za obuku ili računarske snage nije riješilo te probleme. Stoga je pogrešno orijentirana AI dugoročno moguća stvarnost. Narayanan sugerira korištenje takvih modela samo kada je provjera činjenica brža od samostalnog istraživanja, dok Bender preporučuje potpuno izbjegavanje oslanjanja na AI chatbote za provjeru činjenica.