O pionieră în domeniul inteligenței artificiale a lansat o organizație non-profit dedicată creării unui AI „inteligent și onest” conceput să detecteze sisteme rogues care încearcă să înșele oamenii. Yoshua Bengio, un distins om de știință în domeniul calculatoarelor adesea numit unul dintre „ponsorii” AI, va servi ca președinte al LawZero, un grup concentrat pe dezvoltarea sigură a tehnologiei avansate, ceea ce a declanșat o cursă a înarmărilor de 1 trilion de dolari (£740 miliarde). Cu o finanțare inițială de aproximativ 30 de milioane de dolari și o echipă de peste doisprezece cercetători, Bengio lucrează la un sistem numit Scientist AI. Acest sistem este destinat să funcționeze ca o protecție împotriva agenților AI—sisteme autonome care îndeplinesc sarcini fără implicarea umană—care ar putea manifesta comportament înșelător sau autopreservator, precum rezistența la oprire. Bengio a descris agenții AI actuali ca fiind „actori” ce încearcă să imite oamenii și să satisfacă utilizatorii, în timp ce el vede Scientist AI mai degrabă ca pe un „psiholog” capabil să înțeleagă și să prezică comportamentul dăunător. „Vrem să construim AIs care să fie onești și să nu fie înșelători, ” a declarat Bengio. El a adăugat: „Este teoretic posibil să ne imaginăm mașini fără un sine sau obiective personale, care funcționează pur și simplu ca deținători de cunoștințe—ca un om de știință care posedă informații extinse. ” Spre deosebire de instrumentele AI generative actuale, sistemul lui Bengio nu va oferi răspunsuri definitive, ci va indica probabilități despre probabilitatea ca un răspuns să fie corect. „Are umilință, recunoscând incertitudinea asupra răspunsurilor sale, ” a explicat el. Când este folosit împreună cu un agent AI, modelul lui Bengio ar identifica comportamente potențial dăunătoare ale unui sistem autonom evaluând probabilitatea ca acțiunile sale să cauzeze rău. Scientist AI este proiectat să „prevadă probabilitatea ca acțiunile unui agent să conducă la rău, ” și dacă această probabilitate depășește un anumit prag, va bloca acțiunea propusă. Susținătorii inițiali ai LawZero includ Organizația pentru siguranța AI, Future of Life Institute, Jaan Tallinn—unul dintre inginerii fondatori ai Skype—și Schmidt Sciences, o entitate de cercetare înființată de fostul director Google, Eric Schmidt. Bengio a subliniat că primul obiectiv al LawZero este să demonstreze că metodologia conceptului funcționează, apoi să convingă companiile sau guvernele să susțină implementări mai mari și mai puternice.

El a menționat că modelele AI open-source, care sunt disponibile gratuit pentru utilizare și modificare, vor fi fundamentul pentru instruirea sistemelor LawZero. „Scopul este să validăm metodologia astfel încât să putem convinge donatori, guverne sau laboratoare de AI să investească resursele necesare pentru a antrena acest sistem la aceeași scară ca și cele mai avansate sisteme AI de astăzi. Este esențial ca AI-ul de protecție să fie cel puțin la fel de inteligent ca agentul AI pe care îl monitorizează și îl reglementează, ” a spus el. Bengio, profesor la Universitatea din Montreal, și-a câștigat porecla de „naș” după ce a câștigat Premiul Turing în 2018—considerat echivalentul în domeniul informaticii al Premiului Nobel—împreună cu Geoffrey Hinton, laureat Nobel ulterior, și Yann LeCun, principalul om de știință AI al Meta. Ca avocat proeminent al siguranței în domeniul AI, el a condus recent Raportul Internațional despre Siguranța AI, care a atenționat că agenții autonomi ar putea cauza „perturbări sever” dacă devin capabili să execute secvențe extinse de sarcini fără supravegherea umană.