Şubat 2023'te, Google'ın yapay zeka sohbet botu Bard, yanlış bir şekilde James Webb Uzay Teleskobu'nun bir ötegezegenin ilk görüntüsünü yakaladığını belirtmişti. Bu, Purdue Üniversitesi araştırmacıları tarafından yapılan bir çalışmada OpenAI’nın ChatGPT'sinde tespit edilen hatalara benzer hataları ortaya koydu; 500’den fazla programlama sorusunun yarısından fazlası yanlış cevaplanmıştı. Şu anda bu hatalar fark edilebilir durumda olsa da uzmanlar, yapay zeka modelleri karmaşıklaştıkça gerçeği yanlıştan ayırt etmenin zorlaşabileceği konusunda endişe duyuyorlar. NYU’dan Julian Michael, insanların kapasitesini aşan alanlarda yapay zeka sistemlerini denetlemenin zorluğunu vurguluyor. Önerilen çözüm yollarından biri, iki büyük yapay zeka modelinin tartışmasına izin verip, daha basit bir modelin veya insanın daha doğru sonucu belirlemesi. Bu fikir altı yıl önce ortaya çıktı; ancak, Anthropic ve Google DeepMind tarafından yapılan son çalışmalar, büyük dil modeli tartışmalarının gerçeği ayırt etmede yardımcı olabileceğine dair ilk ampirik kanıtları sunuyor. Güvenilir yapay zeka sistemleri kurmak, yapay zekanın insan değerleriyle uyumlu olmasını sağlamanın bir yönüdür. Mevcut uyum, insan geri bildirimine dayanıyor, ancak yapay zekanın insan kapasitesini aştığı alanlarda doğruluğunu sağlamak için ölçeklenebilir denetim gereklidir. 2018’den beri araştırılan tartışma, bu ölçeklenebilir denetimi yönetmenin bir yolu olarak görülüyor. Başlangıçta OpenAI’den Geoffrey Irving tarafından önerilen teknik, iki yapay zeka modelinin doğru olduklarına dair dış bir yargıcı ikna etmek için bir sorunu tartışmasını içeriyor. 2018’deki temel testler tartışmanın işe yarayabileceğini öne sürse de, insanın öznel yargıya eğilimi ve değerlendirme yeteneğindeki farklılıklar hala endişe kaynağıydı.

Amanda Askell gibi araştırmacılar, yapay zekayı insan değerleriyle etkili bir şekilde hizalamak için insan karar verme süreçlerini anlamanın önemli olduğunu savunuyor. Karışık ilk bulgulara rağmen, yeni çalışmalar potansiyel gösteriyor. Anthropic’in çalışması, büyük dil modeli tartışmalarının, uzman olmayan yargıçların doğruluğunu %54’ten %76’ya önemli ölçüde artırdığını gösterdi. Google DeepMind’ın benzer deneyleri, tartışmanın çeşitli görevlerde doğruluğu artırdığını doğruladı. Zachary Kenton, iki tarafı görmek yargıçlara daha fazla bilgi sağladığını ve daha doğru sonuçlara yol açtığını belirtiyor. Ancak, önemsiz tartışma özelliklerinin ve kullanıcı tercihlerini yanlış şekilde yansıtan dalkavukluk eğilimi gibi önyargıların etkisi gibi zorluklar devam ediyor. Testlerdeki doğru veya yanlış cevapların sabit doğası, karmaşık, nüanslı gerçek dünya senaryolarına tercüme edilemeyebilir. Yapay zeka davranışını anlamak ve yapay zeka sistemlerinin bilgi bakımından insan yargıçlarının ötesine geçtiği alanları belirlemek, bu yöntemlerin geliştirilmesi ve uygulanması için kritiktir, diye belirtiyor Irving. Bu engellere rağmen, tartışmaların ampirik başarısı, yapay zekanın güvenilirliğini ve uyumunu artırmada umut verici bir gelişmeyi temsil ediyor.