AI klepetalniki iz vodilnih tehnoloških podjetij, kot sta OpenAI in Google, so v zadnjih mesecih prejeli izboljšave v razmišljanju, da bi povečali zanesljivost odgovorov. Vendar pa najnovejši testi razkrivajo, da nekateri novejši modeli delujejo slabše od prejšnjih različic, saj pokažejo pojav, imenovan "halucinacije" – napake, pri katerih klepetalniki generirajo lažne informacije ali dajejo odgovore, ki so dejansko točni, a niso ustrezni ali v skladu z navodili. Ta težava je prisotna že od začetka velikih jezikovnih modelov (LLM), kot sta ChatGPT podjetja OpenAI in Gemini podjetja Google, in se zdi, da je ne bo mogoče povsem odpraviti. Tehnični poročilo OpenAI je pokazalo, da so modeli o3 in o4-mini, predstavljeni aprila, imeli znatno višje stopnje halucinacij v primerjavi z starejšim modelom o1 z dl. Prvega 2024: o3 je imel stopnjo halucinacij 33 %, o4-mini 48 %, za o1 pa le 16 %, pri povzemanju javno dostopnih dejstev. Podobno je lestvica Vectare, ki spremlja stopnje halucinacij, odkrila, da so nekateri modeli razmišljanja, vključno z DeepSeek-R1, doživeli opazno zvišanje halucinacij v primerjavi s preteklimi modeli, kljub njihovemu večstopenjskemu pristopu razmišljanja pred odgovorom. OpenAI trdi, da so procesi razmišljanja po naravi odgovorni za povečanje halucinacij, in aktivno raziskuje načine za njihovo zmanjšanje pri vseh modelih. Vztrajanje halucinacij ogroža več aplikacij: modeli, ki pogosto proizvajajo lažne trditve, onemogočajo raziskovalno pomoč; pravni pomočniki, ki navajajo neobstoječe primere, tvegate pravne napake; uporabniške službe z zastarelimi informacijami povzročajo operativne težave. Sprva so podjetja za umetno inteligenco pričakovala, da se bo število halucinacij sčasoma zmanjšalo, saj so posodobitve modelov že kazale na izboljšave. Vendar pa nedavne višje ravni halucinacij to teorijo izpodbijajo, ne glede na vključevanje razmišljanja. Lestvica Vectare kaže, da so stopnje halucinacij približno enake pri modelih z razmišljanjem in brez, tako pri OpenAI kot Googlu, čeprav so natančne številke manj pomembne od relativnega mesta na lestvici.

Google ni želel dati komentarjev. Vendar pa imajo takšni razporedi svoje omejitve. Mešajo različne vrste halucinacij; na primer je 14, 3-odstotna stopnja halucinacij pri DeepSeek-R1 večinoma sestavljena iz "neškodljivih" primerov – odgovori, ki so logično skladni in podprti z znanjem, vendar niso prisotni v izvorni kodi. Poleg tega testiranje zgolj na osnovi povzemanja besedil morda ne odraža dejanske pogostosti halucinacij pri drugih nalogah, saj LLM-ji niso namenjeni posebej povzemanju. Emily Bender z Univerze v Seattleu poudarja, da ti modeli napovedujejo najverjetnejše naslednje besede, namesto da bi procesirali informacije za resnično razumevanje besedila, zaradi česar je izraz "halucinacija" zavajajoč in antropomorfiziran. Bender kritizira izraz "halucinacija" kot problematičen, ker implicira napake kot motnje v sicer zanesljivih sistemih ter pripisuje AI-ju človeško podobno percepcijo, česar ta ne izvaja v nobenem pomenu. Arvind Narayanan z Princetona dodaja, da modeli tudi napake delajo zaradi zanašanja na neropovedljive ali zastarele podatke, in enostavno dodajanje več podatkov ali računalnih virov ni rešilo teh problemov. Posledično je, da bo zmotljiv AI lahko ostal trajen pojav. Narayanan predlaga, da takšne modele uporabljamo le, če je preverjanje dejstev hitrejše od opravljanja lastnih raziskav, Bender pa svetuje, naj se popolnoma izogibamo zanašanju na AI klepetalnike za dejstvene informacije.