Els xatbots d'intel·ligència artificial de grans empreses tecnològiques com OpenAI i Google han estat rebent millores en el raonament els últims mesos per augmentar la fiabilitat de les respostes. No obstant això, proves recents revelen que alguns models més nous funcionen pitjor que versions anterior, mostrant un fenomen anomenat "al·lucinacions"—errors on els xatbots generen informació falsa o proporcionen respostes que són factàticament correctes però irrellevants o que no compleixen les instruccions. Aquest problema ha persistit des de la creació dels grans models de llenguatge (LLMs) com ChatGPT d’OpenAI i Gemini de Google, i sembla poc probable que es pugui resoldre completament. Un informe tècnic d’OpenAI va mostrar que els models o3 i o4-mini, llançats l’abril, tenien taxes d’al·lucinacions significativament més altes que l’antic model o1 de finals de 2024: o3 tenia una taxa d’al·lucinacions del 33%, o4-mini del 48%, comparat amb el 16% d’o1, quan resumien fets disponibles públicament. De manera similar, la classificació de Vectara, que fa seguiment de les taxes d’al·lucinacions, va descobrir que alguns models de raonament —com DeepSeek-R1— havien experimentat augments notables en al·lucinacions en comparació amb els models previs, tot i que utilitzen un enfocament de raonament en múltiples passos abans de donar una resposta. OpenAI manté que els processos de raonament no són inherentment responsables de l’augment d’al·lucinacions i està investigant activament maneres de reduir aquestes cites en tots els models. La persistència d’aquestes al·lucinacions amenaça diverses aplicacions: models que produeixen freqüentment falsedats bloquegen l’assistència en recerca; els xatbots paralegals que citen casos inexistents arrisquen errors legals; i els bots de servei al client amb informació desactualitzada causen problemes operatius. Inicialment, les empreses d’IA esperaven que les al·lucinacions disminuïssin amb el temps, ja que les actualitzacions primerenques dels models mostraven millores. Però, els nivells recents més alts desafien aquesta previsió, independentment de la participació del raonament. La classificació de Vectara indica que les taxes d’al·lucinacions són aproximadament iguals en models de raonament i de sense raonament d’OpenAI i Google, encara que els números exactes tenen menys rellevància que les classificacions relatives.

Google ha declinat comentar-hi. No obstant això, aquestes classificacions tenen limitacions. Combinen diferents tipus d’al·lucinacions; per exemple, la taxa d’al·lucinacions del 14, 3% de DeepSeek-R1 principalment consistia en casos “benigns”—respostes logico-sòlides i recolzades per coneixement, però absents del text font. A més, provar només amb resum de textos pot no reflectir la freqüència d’al·lucinacions en altres tasques, ja que els LLMs no estan dissenyats específicament per resumir. Emily Bender de la Universitat de Washington valora que aquests models prediuen paraules potencials següents en comptes de processar la informació per entendre-la realment, fent que el terme "al·lucinació" sigui tant enganyós com antropomorfitzant. Bender critica que “al·lucinació” és problemàtica perquè suposa que els errors són aberracions en sistemes que són de per si fiables i atribueix capacitats humanes de percepció a l’IA, que en realitat no "perceu" en cap sentit. Arvind Narayanan de Princeton afegeix que els models també s’equivocquen per confiar en dades poc fiables o desactualitzades, i que només afegir dades d’entrenament o poder de càlcul no ha resolt aquests problemes. Per això, l’IA prone a errors pot ser una realitat persistent. Narayanan suggereix utilitzar aquests models només quan la verificació de fets sigui més ràpida que fer recerca original, mentre que Bender recomana evitar confiar en els xatbots d’IA per a informació factual en general.