Pionir artificialne inteligencije pokrenuo je neprofitnu organizaciju posvećenu stvaranju „poštene“ AI koja je dizajnirana da otkriva odmetničke sisteme koji nastoje prevariti ljude. Yoshua Bengio, istaknuti računarski naučnik često nazivan jednim od „kumova“ AI-a, biće predsednik LawZero, grupe fokusirane na bezbedan razvoj napredne tehnologije koja je izazvala trka naoružanja vrednu 1, 5 biliona dolara (£740 milijardi). Sa početnim finansiranjem od oko 30 miliona dolara i timom od više od desetak istraživača, Bengio radi na sistemu pod imenom Scientist AI. Ovaj sistem je namenjen kao zaštita od AI agenata — autonomnih sistema koji obavljaju zadatke bez ljudskog učešća — koji bi mogli pokazati obmanjujuće ili samoodržavajuće ponašanje, poput otpora prema gašenju. Bengio je opisao trenutne AI agente kao „glumce“ koji pokušavaju da imitira ljude i zadovolje korisnike, dok on zamišlja Scientist AI više kao „psihologa“ koji je sposoban da razume i predviđa štetno ponašanje. „Želimo da izgradimo AI koji će biti pošten i neće obmanjivati“, izjavio je Bengio. Dodao je: „Tehnički je moguće zamisliti mašine bez ega ili ličnih ciljeva, koje bi radile isključivo kao držaoci znanja — poput naučnika koji poseduje obimne informacije. “ Za razliku od trenutnih generativnih AI alata, Bengiojev sistem neće pružati definitivne odgovore, već će nuditi verovatnoće koje ukazuju na kvalitet odgovora. „Ima skromnost, prepoznajući nesigurnost u svojim odgovorima“, objasnio je. Kada se koristi uz AI agenta, Bengiojev model će identifikovati potencijalno štetno ponašanje autonomnog sistema procenjujući verovatnoću da njegovi postupci mogu izazvati štetu. Scientist AI je osmišljen da „predvidi verovatnoću da će akcije agenta dovesti do štete“, i ako ta verovatnoća pređe određeni prag, blokiraće predloženu radnju. Prvi podržavaoci LawZero uključuju organizaciju za bezbednost AI Future of Life Institute, Jaan Tallina — jednog od osnivača Skype-a — i Schmidt Sciences, istraživačku organizaciju koju je osnovao bivši izvršni direktor Google-a, Erih Šmit. Bengio je naglasio da je prvi cilj LawZero-a da dokaže da metoda funkcioniše, a zatim da ubedi kompanije ili vlade da podrže veće i moćnije implementacije. Napomenuo je da će modeli otvorenog koda, koji su besplatno dostupni za korišćenje i modifikaciju, biti osnova za obuku sistema LawZero. „Cilj je da validiramo metodologiju kako bismo mogli ubediti donatore, vlade ili AI laboratorije da ulažu potrebne resurse za obuku ovoga na istoj skali kao vodeći AI sistemi danas.

Ključno je da AI nadzor bude najmanje koliko i AI agent kojeg želi da prati i reguliše“, rekao je. Bengio, profesor na Univerzitetu u Montrealu, dobio je nadimak „kum“ nakon što je 2018. godine podelio Turingovu nagradu — koja se smatra ekvivalentom Nobelove nagrade u svetu računara — sa Džefrijem Hintonom, koji je kasnije takođe dobitnik Nobelove nagrade, i Janom Lekunom, glavnim AI naučnikom u Meta. Kao istaknuti zagovornik bezbednosti AI, bio je predsednik nedavnog Izveštaja o bezbednosti AI na međunarodnom nivou, koji je upozorio da autonomni agenti mogu izazvati „ozbilne“ poremećaje ako steknu sposobnost da obavljaju duge nizove zadataka bez ljudskog nadzora.