En février 2023, le chatbot IA de Google, Bard, a incorrectement affirmé que le télescope spatial James Webb avait capturé la première image d'une exoplanète, révélant des erreurs semblables à celles trouvées dans le ChatGPT d'OpenAI lors d'une étude par des chercheurs de l'Université Purdue, où plus de la moitié des plus de 500 requêtes de programmation ont reçu des réponses inexactes. Bien que ces erreurs soient actuellement visibles, les experts expriment des inquiétudes quant au fait que, à mesure que les modèles d'IA gagnent en complexité, il deviendra de plus en plus difficile de distinguer la vérité de la désinformation. Julian Michael de l'Université de New York souligne la difficulté de superviser les systèmes d'IA dans des domaines au-delà des capacités humaines. Une solution proposée est de laisser deux grands modèles d'IA débattre, avec un modèle plus simple ou un humain déterminant l'issue la plus précise. Cette idée est apparue pour la première fois il y a six ans; néanmoins, des études récentes d'Anthropic et de Google DeepMind offrent des preuves empiriques initiales que les débats entre grands modèles linguistiques peuvent aider à discerner la vérité. Établir des systèmes d'IA dignes de confiance est un aspect de l'alignement, qui garantit que l'IA partage les valeurs humaines. L'alignement actuel dépend des retours humains, mais une supervision évolutive – assurant l'exactitude de l'IA au-delà des capacités humaines – est nécessaire à mesure que l'IA progresse. Le débat, exploré depuis 2018, est considéré comme un moyen de gérer cette supervision évolutive. Initialement proposé par Geoffrey Irving chez OpenAI, la technique implique deux modèles d'IA disputant une question pour convaincre un juge externe de leur exactitude. Bien que des tests rudimentaires en 2018 aient suggéré que le débat pourrait être efficace, la conscience de la tendance humaine au jugement subjectif et des différences dans la capacité évaluative demeuraient préoccupantes.

Les chercheurs comme Amanda Askell soutiennent que comprendre la prise de décision humaine est essentiel pour aligner l'IA avec les valeurs humaines de manière efficace. Malgré des résultats initiaux mitigés, de nouvelles études montrent un potentiel. L'étude d'Anthropic a montré que les débats entre grands modèles linguistiques amélioraient significativement la précision des juges non experts, la faisant passer de 54% à 76%. Les expériences similaires de Google DeepMind ont confirmé que le débat menait à une précision accrue dans diverses tâches. Zachary Kenton affirme que voir les deux côtés fournit plus d'informations aux juges, favorisant des conclusions plus précises. Cependant, des défis subsistent, tels que l'influence de caractéristiques de débat insignifiantes et des biais comme la flagornerie, où l'IA pourrait reproduire préférences des utilisateurs de manière incorrecte. De plus, la nature fixe des réponses correctes ou incorrectes dans les tests peut ne pas se traduire dans des scénarios complexes et nuancés du monde réel. Comprendre le comportement de l'IA et identifier où les systèmes IA dépassent les juges humains en termes de connaissances sont cruciaux pour le développement et l'application continus de ces méthodes, comme le souligne Irving. Malgré ces obstacles, le succès empirique des débats représente une avancée prometteuse vers l'amélioration de la fiabilité et de l'alignement de l'IA.