OpenAI ve Google gibi önde gelen teknoloji şirketlerinin yapay zeka sohbet botları, cevapların güvenilirliğini artırmak amacıyla son aylarda akıl yürütme iyileştirmeleri almaktadır. Ancak, son testler bazı yeni modellerin daha eski sürümlerden daha kötü performans gösterdiğini ortaya koymuş olup, "halüsinasyonlar" adı verilen bir olguyu sergilemektedir; bu, sohbet botlarının yanlış bilgi üretmesi veya yanlış olsa bile doğru görünen, ancak talimatlara uygun olmayan cevaplar vermesi durumudur. Bu sorun, OpenAI’nin ChatGPT’si ve Google’ın Gemini gibi büyük dil modellerinin (LLM’ler) doğuşundan beri devam etmektedir ve tamamen çözüleceği pek olası görünmemektedir. Bir OpenAI teknik raporu, Nisan ayında yayımlanan o3 ve o4-mini modellerinin, 2024 sonunda piyasaya çıkan eski o1 modeline kıyasla çok daha yüksek halüsinasyon oranlarına sahip olduğunu göstermiştir: o3 modelinin halüsinasyon oranı %33, o4-mini’nin ise %48 iken, o1’de bu oran %16 olmuştur ve bu oran, kamuya açık gerçeklerin özetlenmesinde geçerlidir. Benzer şekilde, Vectara’nın liderlik tablosu, halüsinasyon oranlarını izleyerek belirli akıl yürütme modellerinin—özellikle DeepSeek-R1—önceki modellere kıyasla belirgin artışlar gösterdiğini ortaya koymuştur. Bu modeller, cevap vermeden önce çok adımlı akıl yürütme yaklaşımı benimsemelerine rağmen, halüsinasyon oranları artmıştır. OpenAI, akıl yürütme süreçlerinin halüsinasyon artışından doğrudan sorumlu olmadığını savunmakta ve tüm modellerde halüsinasyonları azaltmaya yönelik aktif araştırmalar yürütmektedir. Halüsinasyonların devam etmesi, birkaç uygulamayı tehdit etmektedir: sık sık yanlış bilgiler üreten modeller araştırma yardımını zorlaştırabilir; sahte davaları kaynak gösteren paralegal botlar hukuki hatalara yol açabilir; eski bilgilerle çalışan müşteri hizmetleri botları ise operasyonel sorunlara sebep olabilir. Başlangıçta, AI şirketleri, modellerin ilk güncellemelerinin iyileşmeler göstermesiyle halüsinasyonların zamanla azalmasını beklemişti. Ancak, günümüzde yüksek seviyelerdeki halüsinasyonlar, akıl yürütme katılımı gözetmeksizin, bu beklentiyi sorgulatmaktadır.

Vectara’nın liderlik tablosu, OpenAI ve Google modellerinde, akıl yürütmeye dayalı veya dayanmayan modeller arasında halüsinasyon oranlarının yaklaşık olarak eşit olduğunu göstermektedir; ancak, tam sayılardan çok göreli sıralama daha önemlidir. Google bu konuda yorum yapmak istememiştir. Bununla birlikte, bu tür sıralamaların bazı sınırlamaları bulunmaktadır. Örneğin, DeepSeek-R1’in %14. 3 oranındaki halüsinasyonlarının büyük kısmı "zararsız" durumlar—mantıklı ve bilgiyle desteklenen cevaplar olup, kaynak metinde bulunmayan cevaplar—oluşmaktadır. Ayrıca, yalnızca metin özetleme baz alınarak yapılan testlerin, diğer görevlerde halüsinasyon sıklığını yansıtmadığı düşünülmektedir, çünkü LLM’ler özellikle özetleme için tasarlanmamıştır. Washington Üniversitesi’nden Emily Bender, bu modellerin, metni gerçekten anlamak yerine olası sonraki kelimeleri tahmin ettiğini vurgulayarak, "halüsinasyon" teriminin yanıltıcı ve insan-özelliği atfedici olduğunu dile getirmektedir. Bender, "halüsinasyon" kavramını eleştirerek, bunun hataları, güvenilir olmayan sistemlerde anormal durumlar olarak göstermek ve yapay zekaya insanlara özgü algılamayı yüklemek olduğunu belirtiyor; AI’nin herhangi bir şekilde "algılamadığı"na dikkat çekiyor. Princeton’tan Arvind Narayanan ise, modellerin aynı zamanda güvenilmez veya güncel olmayan verilere dayanarak hata yapmaya devam ettiğini ekliyor ve eğitim verisi veya hesaplama gücüne sadece ekleme yapmanın bu sorunları çözmediğini söylüyor. Sonuç olarak, hata yapmaya eğilimli yapay zekanın, uzun vadede kalıcı olabileceği düşünülmektedir. Narayanan, bu tür modelleri, doğrulamanın orijinal araştırmadan daha hızlı olduğu durumlarda kullanmayı önerirken, Bender ise, gerçek bilgiler için AI sohbet botlarına tamamen güvenmekten kaçınmayı tavsiye etmektedir.