I chatbot AI di aziende tecnologiche leader come OpenAI e Google hanno ricevuto miglioramenti nel ragionamento negli ultimi mesi per aumentare l’affidabilità delle risposte. Tuttavia, test recenti rivelano che alcuni modelli più recenti si comportano peggio rispetto alle versioni precedenti, mostrando un fenomeno chiamato "allucinazioni"—errori in cui i chatbot generano informazioni false o forniscono risposte che sono fattualmente corrette ma irrilevanti o non conformi alle istruzioni. Questo problema persiste dall’inizio dei grandi modelli linguistici (LLM), come ChatGPT di OpenAI e Gemini di Google, e sembra poco probabile che venga risolto del tutto. Un rapporto tecnico di OpenAI ha mostrato che i suoi modelli o3 e o4-mini, rilasciati ad aprile, avevano tassi di allucinazioni significativamente più alti rispetto al più vecchio modello o1, risalente alla fine del 2024: o3 aveva un tasso di allucinazioni del 33%, o4-mini del 48%, contro il 16% di o1, quando si riassumevano fatti disponibili pubblicamente. Analogamente, la classifica di Vectara sul tasso di allucinazioni ha rilevato che alcuni modelli di ragionamento, tra cui DeepSeek-R1, hanno mostrato aumenti significativi rispetto ai predecessori, nonostante il loro approccio di ragionamento a più passaggi prima di rispondere. OpenAI sostiene che i processi di ragionamento non siano di per sé responsabili dell’aumento delle allucinazioni e sta attivamente ricercando metodi per ridurle in tutti i modelli. La persistenza delle allucinazioni minaccia molte applicazioni: modelli che producono frequentemente falsità ostacolano l’assistenza alla ricerca; chatbot paralegali che citano casi inesistenti possono portare a errori legali; chatbot di customer service con informazioni obsolete causano problemi operativi. Inizialmente, le aziende di AI si aspettavano che le allucinazioni diminuissero nel tempo, poiché i primi aggiornamenti dei modelli avevano mostrato miglioramenti. Tuttavia, i recenti livelli più elevati di allucinazioni sfidano questa previsione, indipendentemente dal coinvolgimento nel ragionamento. La classifica di Vectara indica che i tassi di allucinazioni sono circa uguali tra modelli di ragionamento e non, di OpenAI e Google, anche se i numeri esatti sono meno importanti rispetto alle posizioni relative.

Google ha rifiutato di commentare. Tuttavia, tali classifiche hanno dei limiti. Mescolano diversi tipi di allucinazioni; ad esempio, il 14, 3% delle allucinazioni di DeepSeek-R1 consiste principalmente in casi "benigni"—risposte logicamente valide e supportate dalla conoscenza, ma assenti nel testo di origine. Inoltre, test basati unicamente sulla sintesi testuale potrebbero non riflettere le frequenze di allucinazioni in altri compiti, dato che gli LLM non sono progettati specificamente per il riepilogo. Emily Bender dell’Università di Washington sottolinea che questi modelli predicono le parole più probabili successivamente, piuttosto che elaborare le informazioni per capire davvero il testo, rendendo il termine "allucinazione" sia fuorviante che antropomorfo. Bender critica il termine "allucinazione" perché implica che gli errori siano anomalie in sistemi generalmente affidabili e attribuisce capacità percettive umane all’AI, che non "percepisce" in alcun senso. Arvind Narayanan di Princeton aggiunge che i modelli sbagliano anche affidandosi a dati non affidabili o obsoleti, e che semplicemente aggiungere dati di addestramento o potenza di calcolo non ha risolto questi problemi. Di conseguenza, un’intelligenza artificiale soggetta a errori potrebbe essere una realtà duratura. Narayanan suggerisce di usare tali modelli solo quando il fact-checking richiede meno tempo rispetto alla ricerca originale, mentre Bender raccomanda di evitare del tutto di affidarsi agli chatbot AI come fonti di informazioni fattuali.