I februar 2023 uttalte Googles AI-chatbot Bard feilaktig at James Webb-romteleskopet hadde tatt det første bildet av en eksoplanet. Denne feilen ligner på de som ble funnet i OpenAI's ChatGPT i en studie av Purdue University-forskere, hvor mer enn halvparten av over 500 programmeringsspørsmål ble besvart unøyaktig. Selv om disse feilene for øyeblikket er merkbare, uttrykker eksperter bekymring for at det vil bli stadig vanskeligere å skille sannhet fra feilinformasjon etter hvert som AI-modeller blir mer komplekse. Julian Michael fra NYU fremhever vanskeligheten med å overvåke AI-systemer i områder utenfor menneskelig kapasitet. En foreslått løsning er å la to store AI-modeller debattere, med en enklere modell eller et menneske som avgjør utfallet. Denne ideen dukket først opp for seks år siden, men nylige studier fra Anthropic og Google DeepMind gir initial empirisk bevis for at debatter mellom store språkmodeller (LLM) kan hjelpe med å skille sannhet fra løgn. Å etablere tillitsverdige AI-systemer er en del av justering, som sikrer at AI deler menneskelige verdier. Nåværende justering avhenger av menneskelig tilbakemelding, men en skalerbar overvåkning – som sikrer nøyaktigheten til AI utover menneskelig kapasitet – er nødvendig ettersom AI utvikler seg. Debatt, undersøkt siden 2018, anses som en måte å håndtere denne skalerbare overvåkningen på. Initially proposed by Geoffrey Irving at OpenAI, the technique involves two AI models disputing a question to convince an external judge of their correctness. Selv om grunnleggende tester i 2018 antydet at debatt kunne fungere, forble bekymringer om menneskers tilbøyelighet til subjektiv dømmekraft og forskjeller i vurderingsevne.

Forskere som Amanda Askell hevder at forståelse av menneskelig beslutningstaking er essensielt for å effektivt justere AI til menneskelige verdier. Til tross for blandede innledende funn, indikerer nye studier potensial. Anthropics studie viste at LLM-debatter økte ikke-ekspert dommeres nøyaktighet betydelig, til 76% fra 54%. Google DeepMinds lignende eksperimenter bekreftet at debatt førte til økt nøyaktighet på tvers av ulike oppgaver. Zachary Kenton sier at det å se begge sider gir mer informasjon til dommerne, noe som fremmer mer nøyaktige konklusjoner. Imidlertid gjenstår utfordringer, som innflytelsen av bagatellmessige debattfunksjoner og skjevheter som smisking, hvor AI feilaktig kan reflektere brukerens preferanser. Også det faste naturen av riktig eller galt svar i tester kan ikke oversettes til komplekse, nyanserte scenarier i virkeligheten. Å forstå AI-oppførsel og identifisere hvor AI-systemer overgår menneskelige dommere i kunnskap er avgjørende for den fortsatt utvikling og anvendelse av disse metodene, som påpekt av Irving. Til tross for disse hindringene representerer den empiriske suksessen til debatter et lovende fremskritt mot å forbedre AI pålitelighet og justering.