AI čatboti iz vodećih tehnoloških firmi poput OpenAI i Google poslednjih meseci dobijaju poboljšanja u razmišljanju u cilju povećanja pouzdanosti odgovora. Međutim, najnoviji testovi otkrivaju da neki noviji modeli rade lošije od ranijih verzija, pokazujući pojava koju nazivaju "Halucinacije" — greške u kojima čatboti generišu lažne informacije ili daju odgovore koji su činjenicijski tačni, ali su nebitni ili neusklađeni sa uputstvima. Ovaj problem traje od početka velikih jezičkih modela (LLM) poput ChatGPT od OpenAI i Geminija od Google, i deluje da neće biti potpuno rešen. Tehničko izveštavanje OpenAI prikazuje da su njihovi modeli o3 i o4-mini, koji su pušteni u aprilu, imali znatno višu stopu halucinacija nego stariji model o1 iz kraja 2024: o3 je imao stopu halucinacija od 33%, o4-mini 48%, dok je o1 imao 16% pri sažimanju javno dostupnih činjenica. Slično tome, Vectarina na svojoj rang listi prati stope halucinacija i otkriva da su neki modeli razmišljanja — uključujući DeepSeek-R1 — zabeležili značajno povećanje u poređenju sa prethodnicima, uprkos svom višestepenom razmišjanju pre odgovora. OpenAI tvrdi da procesi razmišljanja nisu inherentno odgovorni za porast halucinacija i aktivno rade na pronalaženju načina za njihovo smanjenje kod svih modela. Očuvanje halucinacija ugrožava brojne primene: modeli koji često proizvode netačne informacije otežavaju istraživačku pomoć; čatboti paralegala koji citiraju nepostojeće slučajeve rizikuju pravne greške; čatboti za podršku korisnicima sa zastarelim informacijama izazivaju operativne probleme. Autobusi za veštačku inteligenciju na početku su očekivali da će halucinacije vremenom opadati, jer su ranije nadogradnje modela pokazivale poboljšanja. No, nedavni veći nivoi halucinacija dovode u pitanje tu prognozu, bez obzira na razliku u razmišljanju. Vectarinaova rang lista pokazuje da su stope halucinacija približno jednake kod modela sa i bez razmišljanja iz OpenAI i Google, iako tačni brojevi nisu toliko važni kao relativne pozicije.

Google je odbio da komentariše. Međutim, takve rang liste imaju ograničenja. One mešaju različite tipove halucinacija; na primer, kod DeepSeek-R1, stopa od 14. 3% uglavnom je sastavljena od "benignih" slučajeva — odgovora koji su logički ispravni i podržani znanjem, ali nedostaju u izvorom tekstu. Pored toga, testiranje zasnovano isključivo na sažimanju teksta možda ne odražava tačnost u frekvenciji halucinacija u drugim zadacima, jer LLM-ovi nisu specijalizovani za sažimanje. Emily Bender sa Univerziteta u Vašingtonu ističe da ti modeli predviđaju verovatne sledeće reči, a ne obrađuju informacije radi pravog razumevanja teksta, čineći termina "halucinacija" zbunjujućim i antropomorfnim. Bender kritikuje pojam "halucinacija" jer implicira da su greške izuzetci u inače pouzdanim sistemima, i pripisuje ljudski perceptivni doživljaj AI-u, koji uopšte ne "percipira". Arvind Narayanan sa Princetona dodaje da modeli greše i zbog oslanjanja na nepouzdane ili zastarele podatke, a dodavanje više podataka za obuku ili računarske snage nije rešilo te probleme. Zbog toga, modeli veštačke inteligencije sklonih greškama mogu ostati trajni. Narayanan predlaže da se takvi modeli koriste samo onda kada je proveravanje činjenica brže od obavljanja originalnog istraživanja, dok Bender preporučuje u potpunosti izbegavanje oslanjanja na AI čatbote za pronalaženje činjenica.