Pionir umjetne inteligencije pokrenuo je neprofitnu organizaciju posvećenu kreiranju „poštene“ AI koja je osmišljena za otkrivanje odmetnutih sustava koji pokušavaju prevariti ljude. Yoshua Bengio, cijenjeni računalni znanstvenik često nazivan jednim od „krsnih“ očiju AI-ja, obnašat će funkciju predsjednika LawZero, grupe usmjerene na sigurni razvoj napredne tehnologije koja je izazvala 1 bilion dolara ($740 milijardi) naoružavajuće utrke. Sa početnim financiranjem od oko 30 milijuna dolara i timom od preko desetak istraživača, Bengio radi na sustavu nazvanom Scientist AI. Ovaj sustav je namijenjen kao zaštita protiv AI agenata — autonomnih sustava koji obavljaju zadatke bez ljudskog uključenja — koji bi mogli pokazivati zavaravajuće ili samoodržavajuće ponašanje, poput opiranja gašenju. Bengio je opisao trenutne AI agente kao „glumce“ koji nastoje imitirati ljude i zadovoljiti korisnike, dok zamišlja Scientist AI više kao „psihologa“ koji je sposoban razumjeti i predvidjeti štetno ponašanje. „Želimo graditi AI koji će biti pošteni i neće biti zavaravajući“, izjavio je Bengio. Dodao je: „Teoretski je moguće zamisliti strojeve bez ega ili osobnih ciljeva, koji bi funkcionirali kao nosioci znanja — poput znanstvenika koji posjeduje opsežne informacije. “ Za razliku od trenutnih generativnih AI alata, Bengiov sustav neće pružati konačne odgovore, već će nuditi vjerojatnosti koje ukazuju na to koliko je odgovor vjerojatan da je točan. „Ima skromnost, priznavanjem nesigurnosti u svoje odgovore“, objasnio je. Kada bi se koristio zajedno s AI agentom, Bengiov model bi identificirao potencijalno štetno ponašanje autonomnog sustava procjenom vjerojatnosti da njegove radnje mogu izazvati štetu. Scientist AI je osmišljen da „predvidi vjerojatnost da će radnje agenta dovesti do štete“, i ako ta vjerojatnost premaši određeni prag, on će blokirati predloženu radnju. Initialni podržavatelji LawZero uključuju organizaciju za sigurnost AI Future of Life Institute, Jaan Tallinn — jednog od osnivačkih inženjera Skypa — te Schmidt Sciences, istraživačku skupinu koju je pokrenuo bivši Googleov izvršni direktor Eric Schmidt. Bengio je naglasio da je prvi cilj LawZero-a dokazati da metoda koncepta djeluje, a zatim uvjeriti tvrtke ili vlade da podrže veće, moćnije implementacije. Napomenuo je da će otvoreni modeli AI, dostupni besplatno za korištenje i modificiranje, biti temelj za obuku sustava LawZero. „Cilj je potvrditi metodologiju kako bismo mogli uvjeriti donatore, vlade ili AI laboratorije da ulože potrebne resurse za obuku na istoj razini kao današnji vodeći AI sustavi.

Ključno je da AI zaštitar bude najmanje jednako sposoban kao i AI agent koji želi nadzirati i regulirati“, istaknuo je. Bengio, profesor na Sveučilištu u Montrealu, stekao je nadimak „krsni otac“ nakon što je podijelio 2018. Turingovu nagradu — koja se smatra računalnim ekvivalentom Nobelove nagrade — zajedno s Geoffreyjem Hintonom, koji je kasnije dobio Nobelovu nagradu, te Yann LeCunom, glavnim znanstvenikom AI u Meta Platforms. Kao istaknuti zagovornik sigurnosti AI-ja, predsjedavao je nedavnim Izvještajem o sigurnosti AI-ja na međunarodnoj razini, koji je upozorio da bi autonomni agenti mogli izazvati „ozbilne“ poremećaje ukoliko bi postali sposobni izvršavati duge nizove zadataka bez ljudskog nadzora.