Pronalaznik umjetne inteligencije pokrenuo neprofitnu organizaciju posvećenu stvaranju “iscrte” AI koja je osmišljena za otkrivanje nelojalnih sustava koji pokušavaju prevariti ljude. Yoshua Bengio, ugledni računalni znanstvenik često nazivan jednim od “kumova” umjetne inteligencije, bit će predsjednik LawZero, grupe fokusirane na sigurni razvoj napredne tehnologije koji je izazvao trkaću utrku naoružanja vrijednu 1 bilijun dolara (£740 milijardi). S početnim financiranjem od oko 30 milijuna dolara i timom od preko desetak istraživača, Bengio radi na sustavu pod nazivom Scientist AI. Ovaj sustav zamišljen je kao zaštitna mjera protiv AI agenata — autonomnih sustava koji obavljaju zadatke bez ljudske uključenosti — koji bi mogli pokazivati prevarantsko ili samoodržavajuće ponašanje, poput otpora pri gašenju. Bengio je opisao sadašnje AI agente kao “dijelove” koji nastoje oponašati ljude i zadovoljiti korisnike, dok zamišlja Scientist AI više kao “psihologa” koji je sposoban razumjeti i predvidjeti štetno ponašanje. “Želimo izgraditi AI koji će biti iskreni i neće biti prevarantski, ” izjavio je Bengio. Dodao je: “Teoretski je moguće zamisliti strojeve bez ega ili osobnih ciljeva, koji djeluju isključivo kao nositelji znanja — poput znanstvenika koji posjeduje opsežne informacije. ” Za razliku od trenutnih generativnih alatā AI, Bengio je rekao da njegov sustav neće pružati konačne odgovore, već će nuditi vjerojatnosti koje ukazuju na mogućnost da je odgovor ispravan. “On ima skromnost, priznavši nesigurnost u svojim odgovorima, ” objasnio je. Kada se koristi zajedno s AI agentom, Bengioov model bi identificirao potencijalno štetno ponašanje autonomnog sustava procjenjujući vjerojatnost da bi njegovo djelovanje moglo izazvati štetu. Scientist AI dizajniran je da “predvidi vjerojatnost da će radnje agenta dovesti do štete, ” i ako ta vjerojatnost prijeđe određeni prag, on će blokirati predloženu radnju. Prvi pokretači LawZeroa uključuju organizaciju za sigurnost AI-ja Future of Life Institute, Jaan Tallinna — jednog od osnivača Skypa — te Schmidt Sciences, istraživačku tvrtku koju je osnovao bivši izvršni direktor Googlea Eric Schmidt. Bengio je istaknuo da je prvi cilj LawZeroa dokazati da metoda funkcioniše, a zatim uvjeriti tvrtke ili vlade da podrže veće, snažnije implementacije.

Napomenuo je da će otvorni modeli AI, koji su slobodno dostupni za korištenje i prilagodbu, biti temelj za obuku sustava LawZero. “Cilj je potvrditi metodologiju kako bismo mogli uvjeriti donatore, vlade ili AI laboratorije da ulože potrebne resurse za obuku ovoga na istoj razini kao vodeći današnji AI sustavi. Ključno je da AI zaštitni okvir bude barem jednako pametan kao i AI agent kojeg želi nadzirati i regulirati, ” rekao je. Bengio, profesor na Sveučilištu u Montrealu, stekao je nadimak “kum” nakon što je podijelio Turingovu nagradu 2018. , koja se smatra računalnim ekvivalentom Nobelove nagrade, sa Geoffreyjem Hintonom, samostalno dobitnikom Nobelove, i Yannom LeCunom, glavnim znanstvenikom za AI u Meta. Kao istaknuti zagovornik sigurnosti AI-ja, predvodio je nedavno izvješće o sigurnosti umjetne inteligencije, koje je upozorilo da bi autonomni agenti mogli izazvati “ozbiljne” poremećaje ako postanu sposobni izvesti produžene nizove zadataka bez ljudskog nadzora.