AI chatboti od popredných technologických firiem ako OpenAI a Google v posledných mesiacoch prijali vylepšenia v schopnosti uvažovania s cieľom zvýšiť spoľahlivosť odpovedí. Nové testy však ukazujú, že niektoré novšie modely sa dnes správajú horšie než staršie verzie, pričom sa objavuje fenomén nazývaný "hallucinácie" – chyby, kedy chatboti vytvárajú nepravdivé informácie alebo poskytujú odpovede, ktoré sú fakticky správne, ale nesúvisia s otázkou alebo nie sú v súlade s inštrukciami. Tento problém pretrváva od začiatku veľkých jazykových modelov (LLMs) ako sú ChatGPT od OpenAI alebo Gemini od Google, a zdá sa, že úplne nevyriešiteľný nebude. Technická správa od OpenAI ukázala, že modely o3 a o4-mini, vydané v apríli, mali podstatne vyšší podiel hallucinácií než starší model o1 z konca roka 2024: o3 vykazoval 33 % mätúcich odpovedí, o4-mini 48 %, zatiaľ čo o1 mal 16 %, keď sumarizoval verejne dostupné fakty. Podobne líderstvo Vectara monitorujúce podiel hallucinácií zistilo, že niektoré modely schopné uvažovania – vrátane DeepSeek-R1 – zaznamenali významný nárast týchto neurčitosťí v porovnaní s predchodcami, aj keď používajú metódu viacstupňového uvažovania pred odpoveďou. OpenAI tvrdí, že samotný proces uvažovania nie je podstatne zodpovedný za zvýšenie hallucinácií a aktívne hľadá spôsoby, ako ich znížiť vo všetkých modeloch. Pretrvávanie týchto problémov ohrozuje viaceré použitia: modely, ktoré často produkujú nepravdivé informácie, sťažujú výskumnú asistenciu; paralegálne chatboty citujúci neexistujúce prípady riskujú právne chyby; zákaznícke servisné chatboty s neaktuálnymi informáciami spôsobujú prevádzkové problémy. Na začiatku firmy pracujúce s umelou inteligenciou očakávali, že hallucinácie v priebehu času poklesnú, keďže prvé aktualizácie modelov ukázali zlepšenia. Napriek tomu však nedávne zvýšené hodnoty hallucinácií tento názor vyzývajú, a to nezávisle od zapojenia uvažovacieho procesu. Líderstvo Vectara ukazuje, že mieru hallucinácií majú modely od OpenAI i Google približne rovnakú, čiže rozdiel spočíva skôr v poradí podľa hodnotenia než v konkrétnych číselných hodnotách.

Google odmietol poskytnúť komentár. Avšak, takéto hodnotenia majú svoje obmedzenia. Miešajú rôzne typy hallucinácií: napríklad 14, 3 % podiel u DeepSeek-R1 tvorili najmä “neškodné” prípady – odpovede, ktoré sú logicky správne, podložené vedomosťami, ale v texte neboli uvedené. Testovanie iba na základe sumarizácie textu nemusí odhaľovať frekvenciu hallucinácií v iných úlohách, keďže LLMy nie sú navrhnuté špeciálne na sumarizáciu. Emily Bender z University of Washington zdôrazňuje, že tieto modely predpovedajú pravdepodobne najpravdepodobnejšie ďalšie slová, nie spracúvajú informácie na skutočné pochopenie textu, čo robí termín "hallucination" zavádzajúcim a antropomorfizujúcim. Bender kritizuje pojem "hallucination" ako problém, pretože naznačuje, že chyby sú odchýlkami v inak spoľahlivých systémoch a pridáva ľudský rys vnímania do AI, ktorá "nevníma" v pravom slova zmysle. Arvind Narayanan z Princeton dodáva, že modely zlyhávajú aj tým, že sa spoliehajú na nespoľahlivé alebo zastaralé dáta, a pridanie viac tréningových dát alebo výpočtovej sily tieto problémy nevyriešilo. Preto je možné, že chyby v AI ostanú trvalým javom. Narayanan navrhuje používať takéto modely len v prípadoch, keď je overovanie faktov rýchlejšie než originálne vyhľadávanie, zatiaľ čo Bender odporúča úplne sa vyhnúť spoľahnutiu na AI chatboti ako spoľahlivý zdroj faktických informácií.