Chatbot AI dari perusahaan teknologi terkemuka seperti OpenAI dan Google telah menerima peningkatan kemampuan penalaran dalam beberapa bulan terakhir untuk meningkatkan keandalan jawaban. Namun, pengujian terbaru menunjukkan bahwa beberapa model yang lebih baru justru berkinerja lebih buruk daripada versi sebelumnya, menunjukkan fenomena yang disebut "halusinasi"—kesalahan di mana chatbot menghasilkan informasi palsu atau memberikan jawaban yang secara faktual benar tetapi tidak relevan atau tidak sesuai dengan instruksi. Masalah ini telah berlangsung sejak awal model bahasa besar (LLMs) seperti ChatGPT dari OpenAI dan Gemini dari Google, dan tampaknya kecil kemungkinan untuk sepenuhnya diselesaikan. Laporan teknis dari OpenAI menunjukkan bahwa model o3 dan o4-mini yang dirilis pada bulan April memiliki tingkat halusinasi yang jauh lebih tinggi dibandingkan dengan model o1 yang lebih lama dari akhir 2024: o3 memiliki tingkat halusinasi sebesar 33%, o4-mini 48%, dibandingkan dengan 16% untuk o1 saat merangkum fakta yang tersedia secara umum. Demikian pula, papan peringkat Vectara yang melacak tingkat halusinasi menemukan bahwa beberapa model penalaran—termasuk DeepSeek-R1—mengalami peningkatan halusinasi yang signifikan dibandingkan pendahulunya, meskipun mereka menggunakan pendekatan penalaran multi-langkah sebelum menjawab. OpenAI menegaskan bahwa proses penalaran secara inheren tidak bertanggung jawab terhadap peningkatan halusinasi dan sedang aktif meneliti cara-cara untuk mengurangi halusinasi di semua model. Ketahanan halusinasi ini mengancam berbagai aplikasi: model yang sering menghasilkan kebohongan menghambat bantuan penelitian; bot paralegal yang merujuk kasus yang tidak ada berisiko melakukan kesalahan hukum; bot layanan pelanggan dengan informasi yang usang menyebabkan masalah operasional. Awalnya, perusahaan AI berharap halusinasi akan berkurang seiring waktu, karena pembaruan model awal menunjukkan peningkatan. Namun, tingkat halusinasi yang lebih tinggi baru-baru ini menantang pandangan tersebut, terlepas dari keterlibatan proses penalaran. Papan peringkat Vectara menunjukkan bahwa tingkat halusinasi cukup seimbang antara model yang menggunakan penalaran dan yang tidak dari OpenAI dan Google, meskipun angka pasti kurang penting dibandingkan peringkat relatif.

Google menolak memberikan komentar. Namun, peringkat tersebut memiliki keterbatasan. Mereka menggabungkan berbagai jenis halusinasi; misalnya, tingkat halusinasi 14, 3% dari DeepSeek-R1 sebagian besar terdiri dari kasus "baik-baik saja"—jawaban yang secara logis masuk akal dan didukung oleh pengetahuan tetapi tidak tercantum dalam teks sumber. Selain itu, pengujian yang didasarkan semata-mata pada ringkasan teks mungkin tidak merefleksikan frekuensi halusinasi dalam tugas-tugas lain, karena LLM tidak dirancang khusus untuk merangkum. Emily Bender dari University of Washington menekankan bahwa model-model ini memprediksi kata berikut yang paling mungkin, bukan memproses informasi untuk benar-benar memahami teks, sehingga istilah "halusinasi" menjadi ambigu dan menganggap manusiawi. Bender mengkritik "halusinasi" sebagai masalah karena menyiratkan bahwa kesalahan adalah penyimpangan dari sistem yang seharusnya andal dan mengatributkan persepsi manusiawi kepada AI, padahal AI tidak "mengamati" dalam arti apa pun. Arvind Narayanan dari Princeton menambahkan bahwa model juga keliru karena bergantung pada data yang tidak dapat diandalkan atau usang, dan hanya menambahkan data pelatihan atau kekuatan komputasi tidak menyelesaikan masalah ini. Akibatnya, AI yang mudah membuat kesalahan mungkin menjadi kenyataan yang terus berlangsung. Narayanan menyarankan menggunakan model semacam itu hanya saat pemeriksaan fakta lebih cepat daripada melakukan riset asli, sementara Bender merekomendasikan untuk menghindari ketergantungan sepenuhnya pada chatbot AI untuk informasi faktual.