Chatboti AI od předních technologických firem, jako jsou OpenAI a Google, od posledních měsíců zaznamenávají zlepšení v důvodu schopnosti lépe odvodit, aby zvýšily spolehlivost odpovědí. Nicméně nejnovější testy odhalily, že některé novější modely si vedou hůře než starší verze, což má za následek jev zvaný „halucinace“ – chyby, při nichž chatboti generují nepravdivé informace nebo poskytují odpovědi, které jsou fakticky správné, ale jsou irelevantní nebo nejsou v souladu s instrukcemi. Tento problém přetrvává od vzniku velkých jazykových modelů (LLMs), jako je ChatGPT od OpenAI či Gemini od Googlu, a je nepravděpodobné, že by byl zcela vyřešen. Technická zpráva od OpenAI ukázala, že jejich modely o3 a o4-mini z dubna měly výrazně vyšší míru halucinací než starší model o1 z konce roku 2024: o3 měl míru halucinací 33 %, o4-mini 48 %, zatímco o1 pouze 16 %, při shrnutí veřejně dostupných faktů. Podobně žebříček společnosti Vectara sledující míru halucinací zjistil, že některé modely schopné uvažování – včetně DeepSeek-R1 – zaznamenaly významný nárůst halucinací ve srovnání s předchůdci, přestože jejich postup při uvažování před odpovědí zahrnoval více kroků. OpenAI tvrdí, že samotný proces uvažování není přímou příčinou zvýšeného výskytu halucinací a aktivně hledá způsoby, jak je snížit ve všech modelech. Přetrvávání halucinací ohrožuje řadu aplikací: modely, jež často produkují nepravdivé informace, komplikují výzkumnou pomoc; právní chatboti citující neexistující případy mohou způsobit právní chyby; zákaznické služby s aktuálně neplatnými informacemi mohou vést k provozním problémům. Původně firmy zabývající se umělou inteligencí očekávaly, že se halucinace časem sníží, protože úpravy modelů z počátku přinesly zlepšení. Avšak nedávná vyšší míra halucinací tyto očekávání zpochybňuje, a to nezávisle na tom, zda je problém spojen s uvažováním. Žebříček Vectary ukazuje, že míra halucinací je přibližně stejná u modelů od OpenAI a Googlu s uvažováním i bez něj, přičemž přesné číslo je méně důležité než jejich vzájemné srovnání.

Google se k tématu nevyjádřil. Nicméně takové srovnání má své omezení. Kombinuje různé typy halucinací; například podle údajů DeepSeek-R1, jehož míra halucinací je 14, 3 %, tvořily hlavně „benigní“ případy – odpovědi, které jsou logicky správné a podložené znalostmi, ale chybí v textu zdroje. Navíc testování pouze na základě shrnutí textu nemusí přesně odrážet frekvenci halucinací v jiných úkolech, protože LLM nejsou speciálně navrženy k shrnování. Emily Bender z University of Washington poukazuje na to, že tyto modely předpovídají pravděpodobné další slovo spíše než fakticky zpracovávají informace ke skutečnému porozumění textu, což činí pojem „halucinace“ zavádějícím a antropomorfizujícím. Bender kritizuje „halucinace“ jako problematický termín, protože naznačuje, že chyby jsou odchylkami od spolehlivých systémů, a přisuzuje AI lidsky podobné vnímání, což není správné. Arvind Narayanan z Princetonu dodává, že modely také chybují tím, že spoléhají na nespolehlivé nebo zastaralé údaje, a samotné přidávání trénovacích dat nebo výpočetní kapacity problém nevyřešilo. Proto může být chyba-ky prone AI trvalým jevem. Narayanan navrhuje používat takové modely pouze v případech, kdy je ověřování faktů rychlejší než originální výzkum, zatímco Bender doporučuje úplně se vyhýbat spoléhání na AI chatboty jako zdroj faktických informací.