Un pionnier de l'intelligence artificielle a lancé une organisation à but non lucratif dédiée à la création d'une IA « honnête » conçue pour détecter les systèmes déviants tentant de tromper les humains. Yoshua Bengio, un scientifique en informatique de renom souvent considéré comme l’un des « parrains » de l’IA, en sera le président de LawZero, un groupe axé sur le développement sécurisé des technologies avancées qui a déclenché une course aux armements d’un trillions de dollars (740 milliards de livres sterling). Avec un financement initial d’environ 30 millions de dollars et une équipe de plus d’une douzaine de chercheurs, Bengio travaille sur un système nommé Scientist AI. Ce système doit agir comme une sauvegarde contre les agents IA — systèmes autonomes effectuant des tâches sans intervention humaine — qui pourraient adopter un comportement trompeur ou autocongratulatoire, comme résister à leur extinction. Bengio décrit les agents IA actuels comme des « acteurs » visant à imiter les humains et satisfaire les utilisateurs, tandis qu’il imagine Scientist AI comme davantage un « psychologue » capable de comprendre et de prédire les comportements nuisibles. « Nous voulons construire des IA qui soient honnêtes et non trompeuses », a déclaré Bengio. Il a ajouté : « Il est théoriquement possible d’imaginer des machines sans moi ou objectifs personnels, fonctionnant uniquement comme des détenteurs de connaissance — comme un scientifique possédant une vaste quantité d’informations. » Contrairement aux outils d’IA générative actuels, le système de Bengio ne donnera pas de réponses définitives mais proposera plutôt des probabilités indiquant la vraisemblance qu’une réponse soit correcte. « Il possède de l’humilité, en reconnaissant son incertitude quant à ses réponses », a-t-il expliqué. Employé en complément d’un agent IA, le modèle de Bengio permettrait d’identifier un comportement potentiellement nuisible d’un système autonome en évaluant la probabilité que ses actions puissent causer du tort. Scientist AI est conçu pour « prévoir la probabilité qu’une action d’un agent conduise à un mal », et si cette probabilité dépasse un certain seuil, il bloquera l’action proposée. Les premiers soutiens de LawZero incluent l’organisation de sécurité de l’IA Future of Life Institute, Jaan Tallinn — un ingénieur fondateur de Skype — et Schmidt Sciences, une entité de recherche créée par l’ancien PDG de Google, Eric Schmidt. Bengio a souligné que l’objectif initial de LawZero est de prouver que la méthodologie fonctionne, puis de convaincre les entreprises ou les gouvernements de soutenir des déploiements plus grands et plus puissants.

Il a précisé que les modèles d’IA en open source, accessibles gratuitement pour leur usage et modification, constitueront la base de l’entraînement des systèmes de LawZero. « L’objectif est de valider la méthodologie afin que nous puissions persuader donateurs, gouvernements ou laboratoires d’IA d’investir les ressources nécessaires pour entraîner cela à la même échelle que les principaux systèmes d’IA actuels. Il est crucial que cette IA de garde soit au moins aussi intelligente que l’agent IA qu’elle vise à surveiller et réguler », a-t-il déclaré. Bengio, professeur à l’Université de Montréal, a acquis le surnom de « parrain » après avoir partagé le prix Turing 2018 — considéré comme l’équivalent du Nobel en informatique — avec Geoffrey Hinton, lui-même devenu lauréat Nobel plus tard, et Yann LeCun, actuel responsable de l’IA chez Meta. En tant que défenseur de la sécurité de l’IA, il a présidé le récent rapport international sur la sécurité de l’IA, qui mettait en garde contre la possibilité que des agents autonomes puissent causer des « perturbations graves » s’ils deviennent capables d’exécuter de longues suites de tâches sans supervision humaine.