Chatboții AI de la companii de tehnologie de top precum OpenAI și Google au primit îmbunătățiri ale raționamentului în ultimele luni pentru a spori fiabilitatea răspunsurilor. Cu toate acestea, teste recente arată că unele modele mai noi performează mai rău decât versiunile anterioare, manifestând un fenomen numit „ halucinații” – erori în care chatboții generează informații false sau oferă răspunsuri care sunt factualmente corecte dar irelevante sau neconforme cu instrucțiunile. Această problemă a persistat încă de la începutul modelelor mari de limbaj (MLL) precum ChatGPT de la OpenAI și Gemini de la Google, și pare improbabil să fie complet rezolvată. Un raport tehnic al OpenAI a arătat că modelele o3 și o4-mini, lansate în aprilie, aveau rate de halucinații semnificativ mai mari decât modelul mai vechi o1, din sfârșitul lui 2024: o3 avea o rată de halucinații de 33%, iar o4-mini de 48%, comparativ cu 16% pentru o1, atunci când rezumau fapte disponibile public. În mod similar, tabelul de bord al Vectara, care urmărește ratele de halucinații, a constatat că unele modele de raționament — inclusiv DeepSeek-R1 — au înregistrat creșteri notabile ale halucinațiilor comparativ cu predecesorii, în ciuda abordării lor de raționament în multiple pași înainte de răspuns. OpenAI susține că procesele de raționament nu sunt în mod inerent responsabile pentru creșterea halucinațiilor și investește activ în cercetări pentru reducerea acestora în toate modelele. Persistența halucinațiilor amenință diverse aplicații: modelele care produc frecvent informații false împiedică asistența în cercetare; chatbot-urile paralegale care citează cazuri inexistente riscă erori legale; chatbot-urile de servicii pentru clienți cu informații învechite cauzează probleme operaționale. Inițial, companiile de AI se așteptau ca halucinațiile să scadă în timp, deoarece actualizările timpurii ale modelelor arătau îmbunătățiri. Totuși, nivelurile mai mari recente de halucinații contrazic această perspectivă, indiferent de implicarea raționamentului. Tabelul de bord al Vectara indică faptul că ratele de halucinații sunt aproximativ egale în modelele de raționament și cele fără, de la OpenAI și Google, deși cifrele exacte contează mai puțin decât pozițiile relative.

Google a refuzat să comenteze. Totuși, astfel de clasificări au limitări. Ele combină diferite tipuri de halucinații; de exemplu, rata de 14, 3% a DeepSeek-R1 include în principal cazuri „benigne” — răspunsuri logic coerente și susținute de cunoștințe, dar absente din textul sursă. Mai mult, testarea bazată exclusiv pe rezumarea textelor poate să nu reflecte frecvența halucinațiilor în alte sarcini, deoarece modelele MLL nu sunt proiectate în mod specific pentru rezumare. Emily Bender de la Universitatea din Washington subliniază că aceste modele prezic cel mai probabil următorul cuvânt, mai degrabă decât procesează informația pentru a înțelege cu adevărat textul, făcând termenul de „halucinație” înșelător și antropomorfic. Bender critică termenul de „halucinație” deoarece implică faptul că erorile sunt abateri de la un sistem în mod normal fiabil și atribuie AI-ului percepție umană, ceea ce acesta nu are în niciun sens. Arvind Narayanan de la Princeton adaugă că modelele greșesc și pentru că folosesc date nesigure sau învechite, iar simpla adăugare de date de antrenament sau putere de calcul nu a rezolvat aceste probleme. Prin urmare, AI-ul supus erorilor ar putea fi o realitate persistentă. Narayanan sugerează utilizarea acestor modele doar atunci când verificarea faptelor este mai rapidă decât realizarea de cercetări originale, în timp ce Bender recomandă evitarea utilizării chatbot-urilor pentru informații factuale în totalitate.