AI sohbet botları, insana benzer konuşmalar yapma konusunda başarılı hale gelmiştir. Ancak, önemli bir zorlukları, genellikle "halüsinasyon" olarak adlandırılan yanlış veya anlamsız cevaplar sunma eğilimleridir. Bu sorunu çözmek için araştırmacılar, diğer sohbet botları tarafından yapılan hataları tespit etmek için sohbet botlarının kullanılmasını öneren bir potansiyel çözüm geliştirdi. Oxford Üniversitesi'nde bilgisayar bilimcisi olan Sebastian Farquhar, Nature dergisinde yer alan bir çalışmada yer aldı ve ChatGPT veya Google'ın Gemini gibi sohbet botlarının yapay zeka tarafından üretilen cevaplardaki yanlışları tespit etmek için kullanılabileceğini öne sürdü. Sohbet botları, internetten büyük miktarda metin tüketen büyük dil modellerine (LLM'ler) dayanmaktadır. Bu modeller, bir cümledeki sonraki kelimeyi tahmin etme veya metin üretme gibi çeşitli görevleri yerine getirebilir. Bu botlar, deneme yanılma yöntemiyle desenler keşfeder ve insan geri bildirimine dayanarak modellerini ayarlarlar. Ancak, bir sınırlama vardır: sohbet botları, insanlar gibi dil anlamasını gerçekleştiremezler. Farquhar ve ekibi, bir sohbet botuna sorular sordu ve diğer bir sohbet botunu yanıtları incelenmek üzere kullanarak hataları tespit etti. Bu yaklaşım, şüphelileri sorgularken tekrar tekrar soru sorma taktiğiyle benzerlik gösterir. Yanıtların anlamları önemli ölçüde farklıysa, bunun garip veya yanlış olduklarını gösterir. Araştırma ekibi, aynı soruların bir alt kümesinde sohbet botunun değerlendirmesini, insan değerlendirmesi ile karşılaştırmak için yaptı.

Sohbet botunun insan derecelendirmesiyle %93 oranında anlaştığını, insan derecelendiricilerin ise %92 oranında anlaştığını ortaya koydu. Bu benzerlik, Farquhar'ı rahatlattı ve sohbet botlarının birbirini değerlendirmesinin önemli bir endişe olmadığını gösterdi. Farquhar, AI hatalarını tespit etmenin genellikle sıradan okuyucular için zor olduğunu açıkladı. Çalışması için LLM'leri kullanırken, bu tür anormallikleri tespit etmede zorluklarla karşılaştığını belirtti. Çünkü sohbet botları sıklıkla "istemek istediğinizi söyler" ve araştırmacılar tarafından "yaltakçılık" olarak adlandırılan görünüşte inandırıcı ve yardımcı olabilecek şeyler uydurabilir. Sohbet botları tarafından sağlanan güvenilmez cevaplar, AI sohbet botlarının geniş çapta benimsenmesini, özellikle radyoloji gibi kritik alanlarda insan hayatına risk oluşturabilecek durumlarda zorlaştırmaktadır. Ayrıca, uydurma yasal örnekleri veya sahte haberleri yaymakta önemli bir rol oynayabilirler. Bununla birlikte, herkes sohbet botlarının diğer sohbet botlarının yanıtlarını değerlendirmek için kullanılmasının faydasını kabul etmiyor. Nature dergisindeki ilgili bir makalede, RMIT Üniversitesi'nden profesör Karin Verspoor, "ateşe ateşle savaşma" konusunda endişelerini dile getirdi. İkinci bir sohbet botunun yanıtları anlamsal olarak benzer gruplara ayırması durumunda LLM'ler tarafından üretilen hatalı sayıların azaldığını belirtti. Bununla birlikte, Verspoor, LLM tabanlı bir yöntemi değerlendirmek için bir LLM'nin kullanılmasının etkinliği konusunda şüpheleri olduğunu belirtiyor, çünkü bu yöntemin önyargıları ve döngüsellikleri içerebileceğini düşünüyor. Farquhar, bu yaklaşımı, takviye unsurlarını vurgulayarak ahşap bir evin ahşap kirişlerle desteklenmesi gibidir olarak görüyor.