In februari 2023 stelde Google's AI-chatbot Bard onjuist dat de James Webb-ruimtetelescoop de eerste afbeelding van een exoplaneet had vastgelegd, waarbij fouten aan het licht kwamen die vergelijkbaar zijn met die in ChatGPT van OpenAI tijdens een studie door onderzoekers van Purdue University, waar meer dan de helft van meer dan 500 programmeervragen onjuist werd beantwoord. Hoewel deze fouten momenteel opvallen, uiten experts zorgen dat naarmate AI-modellen complexer worden, het steeds moeilijker zal worden om waarheid van misinformatie te onderscheiden. Julian Michael van NYU benadrukt de moeilijkheid om AI-systemen te overzien op gebieden die het menselijk vermogen te boven gaan. Een voorgestelde oplossing is om twee grote AI-modellen te laten debatteren, waarbij een eenvoudiger model of mens bepaalt welke uitkomst accurater is. Dit idee kwam zes jaar geleden voor het eerst naar voren; recente studies van Anthropic en Google DeepMind bieden echter aanvankelijke empirische bewijzen dat debatten met LLM's kunnen helpen om de waarheid te onderscheiden. Het creëren van betrouwbare AI-systemen is een aspect van afstemming, wat ervoor zorgt dat AI menselijke waarden deelt. De huidige afstemming is afhankelijk van menselijke feedback, maar schaalbare controle – het waarborgen van de nauwkeurigheid van AI boven het menselijk vermogen – is noodzakelijk naarmate AI zich ontwikkelt. Debat, onderzocht sinds 2018, wordt gezien als een manier om deze schaalbare controle te beheren. Aanvankelijk voorgesteld door Geoffrey Irving van OpenAI, houdt de techniek in dat twee AI-modellen een vraag betwisten om een externe rechter van hun juistheid te overtuigen. Hoewel rudimentaire tests in 2018 suggereerden dat debat zou kunnen werken, bleven zorgen bestaan over de menselijke neiging tot subjectieve beoordeling en verschillen in evaluatief vermogen.

Onderzoekers zoals Amanda Askell betogen dat inzicht in menselijke besluitvorming essentieel is om AI effectief af te stemmen op menselijke waarden. Ondanks gemengde eerste bevindingen wijzen nieuwe studies op potentieel. De studie van Anthropic toonde aan dat LLM-debatten de nauwkeurigheid van niet-expertrechter aanzienlijk verbeterden, waarbij deze steeg tot 76% van 54%. Vergelijkbare experimenten van Google DeepMind bevestigden dat debat leidde tot grotere nauwkeurigheid over verschillende taken heen. Zachary Kenton stelt dat het zien van beide kanten meer informatie biedt aan de rechters, wat tot nauwkeurigere conclusies leidt. Echter, uitdagingen blijven bestaan, zoals de invloed van onbeduidende debatkenmerken en vooroordelen zoals slijmen, waarbij AI onnauwkeurig gebruikersvoorkeuren kan herhalen. Ook kan de vaste aard van juiste of onjuiste antwoorden in testen niet vertalen naar complexe, genuanceerde scenario's in de echte wereld. Het begrijpen van AI-gedrag en het identificeren waar AI-systemen menselijke rechters in kennis overtreffen, is cruciaal voor de voortdurende ontwikkeling en toepassing van deze methoden, aldus Irving. Ondanks deze obstakels vertegenwoordigt het empirische succes van debatten een veelbelovende vooruitgang richting het verbeteren van de betrouwbaarheid en afstemming van AI.