AI tērzēšanas botu no vadošajiem tehnoloģiju uzņēmumiem, piemēram, OpenAI un Google, pēdējo mēnešu laikā ir uzlabojuši racionālas domāšanas spējas, lai uzlabotu atbilžu ticamību. Taču nesenie testi atklāj, ka dažādi jauni modeļi dažkārt darbojas sliktāk nekā iepriekšējās versijas, parādot fenomenu, ko sauc par "halucinācijām" — kļūdām, kurās tērzēšanas botu ģenerēta informācija ir nepatiesa vai sniegtas atbildes, kas ir faktu pareizas, bet neattiecas uz konkrēto uzdevumu vai ir pretrunā ar instrukcijām. Šī problēma pastāv kopš lielo valodu modeļu (LLM), tādu kā OpenAI ChatGPT un Google Gemini, ieviešanas, un nav paredzams, ka tā tiks pilnībā novērsta. OpenAI tehniskais ziņojums liecina, ka tās aprīlī izlaistie modeļi o3 un o4-mini ir izrādījušies ievērojami bēdīgāki halucināciju ziņā nekā vecākais o1 modelis no 2024. gada beigām: o3 rādītājs bija 33%, o4-mini 48%, salīdzinot ar 16% o1 modelim, analizējot publiski pieejamos faktus. Tāpat Vectara vadības panelis, kas uzrauga halucināciju līmeņus, atklāj, ka dažiem racionālas domāšanas modeļiem, tostarp DeepSeek-R1, ir ievērojami palielinājies halucināciju skaits salīdzinājumā ar iepriekšējām versijām, neraugoties uz daudzpakāpju analīzes pieeju pirms atbildes sniegšanas. OpenAI uzskata, ka pati domāšanas procesa aktivizēšana nav galvenais iemesls halucināciju pieaugumam, un aktīvi pēta veidus, kā samazināt halucinācijas visos modeļos. Halucināciju pastāvēšana apdraud vairākas jomas: modeļi, kas bieži ģenerē nepatiesu informāciju, kavē akadēmisko pētījumu atbalstu; paralegālo botu, kas atsaucas uz neeksistējošiem gadījumiem, ir juridiskas kļūdas; klientu apkalpošanas botu ar novecojušu informāciju rada operatīvas problēmas. Sākotnēji AI uzņēmumi cerēja, ka halucinācijas laika gaitā samazināsies, jo agrīnās modeļu versijas uzlabojās. Taču nesenie augstie halucināciju līmeņi apšauba šo prognozi, neatkarīgi no domāšanas procesa iesaistes.

Vectara vadības panelis norāda, ka halucināciju līmenis ir līdzīgs racionālas un neracionālas domāšanas modeļiem no OpenAI un Google, taču precīvi skaitļi ir mazāk svarīgi nekā relatīvā situācija un pozīcija sarakstā. Google atteicās komentēt. Tomēr šādas vērtēšanas sistēmas ir ierobežotas. Tās sajauc dažādus halucināciju veidus; piemēram, DeepSeek-R1 14, 3% halucināciju galvenokārt būtībā sastāvēja no "labdabīgām" kļūdām — atbildēm, kas ir loģiski pamatotas un atbalstītas ar zināšanām, bet nav atrodamas avotu tekstā. Turklāt testēšana tikai uz teksta kopsavilkumiem ne vienmēr atspoguļo halucināciju biežumu citās uzdevumu kategorijās, jo LLM nav speciāli paredzēti šiem uzdevumiem. Vašingtonas universitātes Emīlija Bender uzsver, ka šie modeļi paredz iespējamos nākamos vārdus, nevis patiešām apstrādā informāciju, lai patiesi to saprastu, padarot terminu "halucinācija" maldinošu un antropomorfu. Bender kritizē "halucināciju" kā problēmu, jo tas rada maldīgu priekšstatu, ka kļūdas ir iracionālas sistēmas novirzes, un piešķir mākslīgajai intelektam līdzīgu uztveri, kas patiesībā "neuztver" neko. Prinstonas universitātes Arvinds Narajansans papildina, ka modeļi kļūdās arī izmantojoši neuzticamu vai novecojušu datu bāzi, un vienkārši papildus apmācības dati vai jauda nav atrisinājuši šīs problēmas. Tādējādi kļūdainam AI var būt ilgstoša realitāte. Narajansans iesaka izmantot šādus modeļus tikai, ja fakto pārbaudīšana ir ātrāka nekā sākotnējo pētījumu veikšana, bet Bender rekomendē pilnībā atturēties no paļaušanās uz AI tērzēšanas botu faktsnieciskai informācijai.