AI csetesbotok, mint az OpenAI és a Google vezető techcégei, az utóbbi hónapokban értek elérhető érvelési fejlesztéseket, hogy növeljék a válaszok megbízhatóságát. Azonban a legutóbbi tesztek azt mutatják, hogy néhány újabb modell rosszabbul teljesít, mint korábbi változatok, és megjelent egy "hallucinációk" nevű jelenség—hibák, amikor a chatbotok helytelen információkat generálnak, vagy tényekben helyes, de irreleváns vagy az utasításokat nem követő válaszokat adnak. Ez a probléma a nagy nyelvi modellek (LLM-ek), például az OpenAI ChatGPT-je és a Google Gemini-je óta fennáll, és úgy tűnik, hogy teljeskörű megoldására kevés esély van. Egy OpenAI technikai jelentés szerint az áprilisban kiadott o3 és o4-mini modellek lényegesen magasabb hallucinációs arányt mutattak, mint a késő 2024-es o1 modell: az o3 33%-os, az o4-mini 48%-os arányt ért el, szemben az o1 16%-os értékével, amikor nyilvánosan elérhető tényeket összegzett. Hasonlóképpen, a Vectara vezetői listája szerint néhány érv értelmező modell—ideértve a DeepSeek-R1-et—jelentősen növelte a hallucinációk számát a korábbiakhoz képest, annak ellenére, hogy több lépéses érvelést alkalmaznak a válaszadás előtt. Az OpenAI azt állítja, hogy az érvelési folyamatok nem magyarázzák önmagukban a hallucináció növekedését, és aktívan kutatják az utakat a hallucinációk csökkentésére valamennyi modell esetében. A hallucinációk állandósága számos alkalmazást veszélyeztet: azok a modellek, amelyek rendszeresen hamis információkat generálnak, akadályozzák a kutatási támogatást; olyan paralegal-botok, amelyek nem létező esetekre hivatkoznak, jogi hibákat okozhatnak; az ügyfélszolgálati botok, amelyek elavult adatokat tartalmaznak, működési problémákat eredményeznek. Eredetileg az AI cégek azt várták, hogy a hallucinációk idővel csökkennek, mivel az első modellek frissítései javulást mutattak. Azonban a legutóbbi magasabb szintek ezt a kilátást megkérdőjelezik, függetlenül attól, hogy az érvelés szerepet játszik-e vagy sem. A Vectara vezetői listája szerint a hallucinációs arányok nagyjából azonosak az érvelő és nem érvelő modellek között az OpenAI és a Google részéről, bár a pontos számok kevésbé fontosak, mint a relatív helyezések.

A Google nem nyilatkozott. Azonban az ilyen rangsoroknak vannak korlátai. Különböző hallucináció típusokat kever össze; például a DeepSeek-R1 14, 3%-os hallucinációs aránya főként "jóindulatú" eseteket tartalmazott— azok a válaszok, amelyek logikailag helyesek és támogatottak tudással, de hiányoznak a forrásszövegből. Emellett a szövegösszegzés alapú tesztelés nem feltétlenül tükrözi más feladatoknál a hallucinációk gyakoriságát, mivel az LLM-eket nem kifejezetten összegzésre tervezték. Emily Bender, a washingtoni Egyetem szakértője hangsúlyozza, hogy ezek a modellek a következő szavak valószínűségét jósolják, nem pedig valódi megértésen alapuló információfeldolgozást végeznek, így a "hallucináció" kifejezés félrevezető és emberi tulajdonságokat tulajdonít az AI-nak. Bender bírálja a "hallucináció" kifejezést, mivel az azt sugallja, hogy a hibák valami rendellenes torzulások az egyébként megbízható rendszerekben, és emberi tulajdonságokat tulajdonít az AI-nak, amely nem "érzékel" vagy "tapasztal" semmi ilyesmit. Arvind Narayanan, a Princetonről hozzátéve, hogy a modellek tévednek azzal is, hogy megbízhatatlan vagy elavult adatokra alapoznak, és hogy az eddigi módszerek— akár a tanulóadatok bővítése, akár a számítási kapacitás növelése— nem oldották meg ezeket a problémákat. Ennek eredményeként a hibákra hajlamos AI valószínűleg tartós marad. Narayanan szerint ilyen modelleket csak akkor érdemes használni, ha a tényellenőrzés gyorsabb, mint az eredeti kutatás, míg Bender szerint teljesen kerülendő az AI chatbotoktól származó tényalapú információkra való támaszkodás.