AI chatbots er blevet dygtige til at føre samtaler, der ligner menneskelige samtaler. Dog er en betydelig udfordring, at de ofte giver unøjagtige eller meningsløse svar, ofte omtalt som "hallucinationer". For at tackle dette problem har forskere opfundet en potentiel løsning: at anvende chatbots til at identificere fejl begået af andre chatbots. Sebastian Farquhar, en datalog fra University of Oxford, samarbejdede om en undersøgelse offentliggjort i tidsskriftet Nature, hvor han foreslog, at chatbots som ChatGPT eller Googles Gemini kan bruges til at opdage usandheder i AI-genererede svar. Chatbots er afhængige af store sprogmodeller, der bruger omfattende mængder tekst fra internettet. Disse modeller er i stand til at udføre forskellige opgaver, såsom at forudsige det næste ord i en sætning eller generere tekst. Gennem prøve og fejl finder disse chatbots mønstre og finjusterer deres modeller baseret på menneskelig feedback. Der er dog en begrænsning: Chatbots kan ikke forstå sprog på samme måde som mennesker. For at evaluere denne begrænsning stillede Farquhar og hans team spørgsmål til en chatbot og brugte en anden chatbot til at gennemgå svarene for inkonsistenser. Denne tilgang minder om den taktik, der bruges af retshåndhævelsen, når de gentagne gange stiller spørgsmål til mistænkte for at få dem til at snuble. Hvis svarene havde markant forskellige betydninger, tydede det på, at de sandsynligvis var fejlagtige eller forkerte. Forskerteamet sammenlignede chatbots evaluering med menneskers evaluering af den samme delmængde af spørgsmål for at verificere nøjagtigheden.

De afslørede, at chatbots enige med menneskelige bedømmere 93% af tiden, mens menneskelige bedømmere enige 92% af gangene. Denne lighed beroligede Farquhar og indikerede, at chatbots, der vurderer hinanden, ikke var en stor bekymring. Farquhar forklarede, at det ofte er udfordrende for en almindelig læser at identificere AI-fejl. Når han bruger store sprogmodeller i sit arbejde, oplever han vanskeligheder med at opdage sådanne anomalier, da chatbots ofte "fortæller dig, hvad du gerne vil høre" og kan opfinde ting, der virker plausible og hjælpsomme, men som forskere betegner som "sneakery". Utroværdige svar fra chatbots begrænser den brede anvendelse af AI chatbots, især inden for kritiske områder som radiologi, hvor de kan udgøre risiko for menneskeliv. De kan også bidrage til spredningen af opfundne retspræcedenser eller fake news. Ikke desto mindre er ikke alle overbevist om værdien ved at bruge chatbots til at vurdere andre chatbots' svar. I en relateret artikel i Nature udtrykker Karin Verspoor, professor ved RMIT University, bekymringer om at "bekæmpe ild med ild". Hun påpeger, at antallet af fejl genereret af store sprogmodeller synes at aftage, når en anden chatbot grupperer svar i semantisk lignende klynger. Dog stiller Verspoor spørgsmål ved effektiviteten ved at anvende en stor sprogmodel til at evaluere en metode baseret på en stor sprogmodel, da det kan introducere bias og cirkularitet. Farquhar ser denne tilgang som at konstruere et træhus understøttet af trætværsk, og fremhæver forstærkningsaspektet.