Ang mga AI chatbot mula sa mga nangungunang kumpanya sa teknolohiya tulad ng OpenAI at Google ay nakakatanggap ng mga pag-ayos sa reasoning sa mga nakaraang buwan upang mapahusay ang pagiging maaasahan ng kanilang mga sagot. Gayunpaman, ipinapakita ng mga kamakailang pagsusuri na ang ilan sa mga mas bagong modelo ay mas masahol pa kaysa sa mga naunang bersyon, na nagpapakita ng isang phenomena na tinatawag na "hallucinations"—mga error kung saan ang mga chatbot ay gumagawa ng mga maling impormasyon o nagbibigay ng mga sagot na tama sa katotohanan ngunit hindi makabuluhan o hindi sumusunod sa mga instruksyon. Matagal nang nananatili ang isyung ito mula nang maitatag ang mga malalaking modelo ng wika (LLMs) tulad ng ChatGPT ng OpenAI at Gemini ng Google, at tila hindi ito ganap na malulutas. Ipinakita ng isang ulat teknikal mula sa OpenAI na ang kanilang mga modelong o3 at o4-mini na inilabas noong Abril ay may mas mataas na porsyento ng hallucination kumpara sa mas luma nilang modelo na o1 mula huling bahagi ng 2024: ang o3 ay may 33% na hallucination rate, ang o4-mini ay 48%, kumpara sa 16% para sa o1, kapag nagbubuod ng mga pampublikong impormasyon. Ganun din, natuklasan sa leaderboard ng Vectara na ang ilang mga reasoning models—kabilang na ang DeepSeek-R1—ay nakaranas ng makabuluhang pagtaas sa hallucinations kumpara sa mga nauna, sa kabila ng kanilang multi-step reasoning bago magbigay ng sagot. Pinanghahawakan ng OpenAI na ang mga proseso ng pangangatwiran ay hindi likas na dahilan ng pagtaas ng hallucinations at aktibong nagsasaliksik ng mga paraan upang mabawasan ang hallucinations sa lahat ng kanilang mga modelo. Ang pagpupumilit na ito ay nagdudulot ng banta sa ilang aplikasyon: ang mga modelong madalas gumawa ng mga maling impormasyon ay nakasasagabal sa tulong sa pananaliksik; ang mga paralegal bot na nagsasaliksik ng mga walang-gaanong kaso ay nanganganib na magdulot ng mga legal na kamalian; ang mga customer service bot na may luma nang impormasyon ay nagdudulot ng mga problema sa operasyon. Sa simula, inaasahan ng mga kumpanya ng AI na ang hallucinations ay bababa sa paglipas ng panahon, dahil nagsimula nang magpakita ng mga pag-ayos ang mga unang update ng modelo. Ngunit, ang mga kamakailang mas mataas na porsyento ng hallucinations ay hamon sa pananaw na ito, anuman ang usapin ng reasoning. Ipinapakita ng leaderboard ng Vectara na halos pantay ang bilang ng hallucinations sa mga reasoning at non-reasoning na modelo mula sa OpenAI at Google, kahit na mas mahalaga ang mga relasyong ranggo kaysa sa eksaktong numero.

Tumanggi ang Google na magkomento tungkol dito. Gayunpaman, may mga limitasyon ang ganitong mga ranggo. Pinagsasama-sama nila ang iba't ibang uri ng hallucinations; halimbawa, ang 14. 3% na hallucination rate ng DeepSeek-R1 ay pangunahing binubuo ng mga "benign" na kaso—mga sagot na lohikal at suportado ng kaalaman ngunit wala sa teksto ng pinagmulan. Bukod dito, ang pagsusuri na nakatutok lamang sa pagbuo ng buod ng teksto ay maaaring hindi sumasalamin sa dalas ng hallucinations sa ibang gawain, dahil ang mga LLM ay hindi partikular na idinisenyo para sa pagbubuod. Binibigyang-diin ni Emily Bender ng University of Washington na ang mga modelong ito ay nagpo-prodyus ng mga malamang na susunod na salita sa halip na totoo nilang pinoproseso ang impormasyon upang tunay na maunawaan ang teksto, kaya ang terminong "hallucination" ay parehong nakalilito at nakakatawan sa tao. Pinuna ni Bender ang "hallucination" bilang isang problemang terminolohiya dahil ipinapahiwatig nitong ang mga mali ay mga aberrasyon sa mga karaniwang mapagkakatiwalaang sistema, at iniuugnay nito ang human-like perception sa AI, na hindi naman talaga nakararamdam o nakakaunawa. Idinagdag ni Arvind Narayanan ng Princeton na ang mga modelo ay nagkakamali rin sa pamamagitan ng pag-asa sa hindi mapagkakatiwalaang o luma nang datos, at ang simpleng pagdaragdag ng training data o computing power ay hindi pa rin nakaaayos sa mga problemang ito. Dahil dito, posibleng maging isang pangmatagalang katotohanan ang error-prone na AI. Hinihikayat ni Narayanan na gamitin lamang ang mga ganitong modelo kapag mas mabilis ang fact-checking kaysa sa paggawa ng orihinal na pananaliksik, habang inirerekomenda ni Bender na iwasan ang pagbibigay-sentral sa AI chatbots para sa factual na impormasyon nang buo.