AI-chatbots van toonaangevende technologiebedrijven zoals OpenAI en Google krijgen de laatste maanden verbeteringen in hun redeneringsvermogen om de betrouwbaarheid van hun antwoorden te vergroten. Uit recente tests blijkt echter dat sommige nieuwere modellen slechter presteren dan eerdere versies, en een fenomeen vertonen dat "hallucinaties" wordt genoemd—fouten waarbij chatbots valse informatie genereren of antwoorden geven die feitelijk correct maar irrelevant of niet in overeenstemming met de instructies zijn. Dit probleem bestaat al sinds het ontstaan van grote taalmodellen (LLM's) zoals OpenAI’s ChatGPT en Google’s Gemini, en het lijkt onwaarschijnlijk dat het volledig opgelost wordt. Een technisch rapport van OpenAI toonde aan dat hun in april uitgebrachte o3- en o4-mini-modellen significant hogere hallucinatiepercentages hadden dan de oudere o1 van eind 2024: o3 had een hallucinatiepercentage van 33%, o4-mini 48%, vergeleken met 16% voor o1, bij het samenvatten van openbaar beschikbare feiten. Evenzo ontdekte Vectara’s ranglijst die hallucinatiepercentages bijhoudt dat sommige redeneringsmodellen— waaronder DeepSeek-R1—merkbare stijgingen in hallucinaties lieten zien in vergelijking met voorgangers, ondanks hun meerlagige redeneerproces voordat ze antwoorden gaven. OpenAI beweert dat redeneringsprocessen niet per se verantwoordelijk zijn voor de toename van hallucinaties en doet actief onderzoek naar manieren om hallucinaties in alle modellen te verminderen. Het aanhouden van hallucinaties bedreigt verschillende toepassingen: modellen die vaak onwaarheden produceren, belemmeren onderzoeksassistentie; paralegale bots die niet-bestaande rechtszaken aanhalen, riskeren juridische fouten; klantenservice-bots met verouderde informatie veroorzaken operationele problemen. Aanvankelijk verwachtten AI-bedrijven dat hallucinaties in de loop van de tijd zouden afnemen, aangezien vroege modelupdates verbeteringen lieten zien. Maar de recent hogere hallucinatieniveaus roepen dit verwachtingspatroon in twijfel, ongeacht het redeneringsproces. Vectara’s ranglijst geeft aan dat de hallucinatiepercentages ongeveer gelijk zijn bij redenerings- en niet-reasonerende modellen van OpenAI en Google, hoewel exacte cijfers minder belangrijk zijn dan de relatieve positie.

Google wilde niet reageren. Echter, zulke ranglijsten hebben beperkingen. Ze mengen verschillende soorten hallucinaties; bijvoorbeeld bestond het 14, 3% hallucinatiepercentage van DeepSeek-R1 vooral uit "onschuldige" gevallen—antwoorden die logisch klinken en door kennis ondersteund worden, maar niet in de brontekst voorkomen. Bovendien reflecteert testen die uitsluitend gebaseerd zijn op tekstsamenvatting mogelijk niet de frequentie van hallucinaties in andere taken, aangezien LLM’s niet specifiek ontworpen zijn voor samenvatten. Emily Bender van de Universiteit van Washington benadrukt dat deze modellen voorspellen wat waarschijnlijk het volgende woord is in plaats van informatie te verwerken om de tekst echt te begrijpen, waardoor de term "hallucinaties" zowel misleidend als antropomorfiserend is. Bender bekritiseert "hallucinatie" omdat het impliceert dat fouten afwijkingen zijn in verder betrouwbare systemen en menselijke perceptie toeschchrijft aan AI, dat in geen enkel opzicht "waarnemen" doet. Arvind Narayanan van Princeton voegt toe dat modellen ook fouten maken door te vertrouwen op onbetrouwbare of verouderde data, en dat simpelweg meer training data of rekenkracht deze problemen niet opgelost hebben. Als gevolg daarvan kan foutgevoelige AI een blijvend gegeven zijn. Narayanan suggereert dat dergelijke modellen alleen gebruikt moeten worden wanneer factchecking sneller gaat dan eigen onderzoek doen, terwijl Bender aanbeveelt om helemaal niet te vertrouwen op AI-chatbots voor feitelijke informatie.