Tehisintellekti vestlusrobotid juhtivatelt tehnoloogiafirmadelt nagu OpenAI ja Google on viimastel kuudel saanud täiustusi põhjusmõtlemise võimes, et parandada vastuste usaldusväärsust. Siiski näitavad hiljutised testid, et mõned uuemad mudelid toimivad halvemini kui varasemad versioonid ning näitavad nähtust nimega "hallutsinatsioonid" – vigu, kus vestlusbotid genereerivad valesid teateid või annavad vastuseid, mis on faktuaalselt õige, kuid onignosis või ebamõistlikud või instruktsioonidele mittevastavad. See probleem on kestnud alates suure keelemudelite (LLMs), nagu OpenAI ChatGPT ja Google Gemini, algusest ning tundub, et seda ei õnnestu täielikult lahendada. OpenAI tehniline raport näitas, et nende aprillis avaldatud o3 ja o4-mini mudelid omasid oluliselt kõrgemaid hallutsinatsioonide määrasid kui vana o1 mudel, mis pärines hiljutisest hetkest 2024. lõpus: o3 puhul oli hallutsinatsioonide määra 33%, o4-mini puhul 48%, samal ajal kui o1 puhul oli see 16%, kui ta tõi kokku avalikult kättesaadavaid faktid. Samamoodi leiti Vectara juhtkonkursilt, et mõne mõtlemise mudelid – sealhulgas DeepSeek-R1 – kogesid silmatorkavat hallutsinatsioonide suurenemist võrreldes eelkäijatega, hoolimata nende mitmetsüüdalisest mõtlemisprotsessist enne vastamist. OpenAI kinnitab, et mõtlemisprotsessid ise ei ole põhjuseks hallutsinatsioonide tõusu ning tegeleb aktiivselt võimalustega hallutsinatsioonide vähendamiseks kõigis mudelites. Hallutsinatsioonide püsivus ohustab mitmeid rakendusi: mudelid, mis sageli genereerivad valeinfot, takistavad teaduslikku abi; abiliste botid, kes tsiteerivad mittetäielikke juhtumeid, võivad põhjustada õiguslikke vigu; klienditeenindusbotid, kellel on vananenud teave, põhjustavad tegevuslikke probleeme. Alguses ootasid tehisintellekti ettevõtted, et hallutsinatsioonid vähenevad aja jooksul, kuna esialgsed mudelivärskendused näitasid paranemist. Kuid hiljutised kõrgemad hallutsinatsioonide tasemed esitavad selle ootuse väljakutse ning sõltumata mõtlemise osalusest on juhtkonkursid nagu Vectara näidanud, et OpenAI ja Google mudelite hallutsinatsioonimäärad on ligikaudu võrdsed, kuigi täpsed arvud ei ole vähem oluline kui suhteline koht.

Google keeldus kommentaarist. Sellised järjestused on siiski piiratud. Need ühendavad erinevaid hallutsinatsiooni tüüpe; näiteks DeepSeek-R1 14, 3% hallutsinatsioonide määr koosnes peamiselt "kahjutu" juhtumitest – vastused, mis on loogiliselt õiged ja toetuvad teadmisele, kuid puuduvad lähteandmestikust. Lisaks ei pruugi tekstipõhised testid või kokkuvõtted peegeldada hallutsinatsioonide sagedust muudes ülesannetes, kuna LLM-id ei ole spetsiaalselt mõeldud kokkuvõtete tegemiseks. Washingtoni ülikooli Emily Bender rõhutab, et need mudelid prognoosivad tõenäoliselt järgmisi sõnu ning ei tööta informatsiooni tõeliseks mõistmiseks, mistõttu on mõiste "hallutsinatsioon" nii eksitav kui ka antropomorfne. Bender kritiseerib "hallutsinatsiooni" kui probleemset terminit, kuna see eeldab, et vead on kõrvalekalded muidu usaldusväärsetes süsteemides ning omistab tehisintellektile inimliku tajumise, mis ei "tajugi" mingil moel. Princetoni ülikooli Arvind Narayanan lisab, et mudelid teevad vigu ka usaldusväärsete või vananenud andmete põhjal ning lihtsalt treeningandmete või arvutusvõimsuse suurendamine ei ole neid probleeme lahendanud. Seetõttu võib veaga tehisintellekt olla püsiv reaalsus. Narayanan soovitab selliseid mudeleid kasutada vaid siis, kui fakti kontrollimine on kiirem kui algse uurimistöö tegemine, samas kui Bender soovitab vältida täielikult usaldust tehisintellekti vestlusrobotide faktipõhises teabes.