Bot perbualan AI dari syarikat teknologi terkemuka seperti OpenAI dan Google telah menerima peningkatan penalaran dalam beberapa bulan kebelakangan ini untuk meningkatkan keberhasilan jawapan. Walau bagaimanapun, ujian terkini mendedahkan bahawa beberapa model yang lebih baharu beraksi lebih buruk berbanding versi terdahulu, menunjukkan fenomena yang dipanggil "halusinasi"—kesilapan di mana bot perbualan menghasilkan maklumat palsu atau memberikan jawapan yang secara fakta betul tetapi tidak relevan atau tidak mengikut arahan. Masalah ini telah wujud sejak kewujudan model bahasa besar (LLMs) seperti ChatGPT dari OpenAI dan Gemini dari Google, dan nampaknya tidak mungkin diselesaikan sepenuhnya. Laporan teknikal OpenAI menunjukkan bahawa model o3 dan o4-mini yang dikeluarkan pada April mempunyai kadar halusinasi yang jauh lebih tinggi berbanding model o1 yang lebih lama dari akhir 2024: o3 mempunyai kadar halusinasi 33%, o4-mini 48%, berbanding 16% untuk o1, semasa merumuskan fakta yang tersedia kepada umum. Begitu juga, penjejak kedudukan Vectara yang mengesan kadar halusinasi mendapati bahawa beberapa model penalaran—termasuk DeepSeek-R1—mengalami peningkatan ketara dalam halusinasi berbanding pendahulunya, walaupun mereka menggunakan pendekatan penalaran pelbagai langkah sebelum menjawab. OpenAI menegaskan bahawa proses penalaran tidak secara intrinsiknya bertanggungjawab terhadap kenaikan halusinasi dan sedang aktif menjalankan kajian untuk mengurangkan halusinasi dalam semua model. Keberlanjutan halusinasi ini mengancam beberapa aplikasi: model yang sering menghasilkan pembohongan menyukarkan bantuan penyelidikan; bot peguam paralegal yang memetik kes yang tidak wujud berisiko menyebabkan kesilapan undang-undang; bot khidmat pelanggan dengan maklumat yang sudah usang menyebabkan masalah operasi. Pada mulanya, syarikat AI menjangkakan halusinasi akan berkurang dari masa ke masa kerana kemas kini model awal menunjukkan penambahbaikan. Namun, tahap halusinasi yang lebih tinggi baru-baru ini mencabar pandangan ini, tanpa mengira penglibatan penalaran. Penjejak kedudukan Vectara menunjukkan kadar halusinasi adalah hampir sama dalam model yang menggunakan penalaran dan yang tidak dari OpenAI dan Google, walaupun angka tepat kurang penting berbanding kedudukan relatif.

Google enggan memberi komen. Bagaimanapun, penilaian seperti ini mempunyai kelemahan. Ia menggabungkan pelbagai jenis halusinasi; contohnya, kadar halusinasi 14. 3% DeepSeek-R1 kebanyakan terdiri daripada kes "baik hati"—jawapan yang secara logik sah dan disokong oleh pengetahuan tetapi tidak terdapat dalam teks sumber. Selain itu, ujian berasaskan permintaan penjumlahan teks sahaja mungkin tidak mencerminkan kekerapan halusinasi dalam tugasan lain, kerana LLM tidak direka khas untuk meringkaskan. Emily Bender dari University of Washington menekankan bahawa model ini lebih cenderung untuk meramalkan perkataan seterusnya yang mungkin daripada memproses maklumat untuk memahami teks secara sebenar, menjadikan istilah "halusinasi" sebagai sesuatu yang mengelirukan dan antropomorfik. Bender mengkritik "halusinasi" kerana ia menimbulkan tanggapan bahawa kesilapan adalah anomali dalam sistem yang biasanya boleh dipercayai dan memberi persepsi manusia kepada AI, yang tidak "mempersepsi" dalam apa jua erti. Arvind Narayanan dari Princeton menambah bahawa model juga membuat kesilapan dengan bergantung kepada data yang tidak boleh dipercayai atau usang, dan hanya menambah data latihan atau kuasa pengiraan tidak menyelesaikan masalah ini. Akibatnya, AI yang sering membuat kesilapan mungkin merupakan realiti yang kekal. Narayanan mencadangkan menggunakan model sebegini hanya apabila semakan fakta lebih cepat berbanding menjalankan penyelidikan asal, manakala Bender mencadangkan untuk mengelakkan bergantung kepada bot perbualan AI untuk maklumat fakta sama sekali.