Priekopník umelej inteligencie založil neziskovú organizáciu venovanú tvorbe „úprimnej“ AI, ktorej cieľom je odhaliť podvodné systémy snažiace sa oklamať ľudí. Yoshua Bengio, uznávaný počítačový vedec často označovaný za jedného z „kmotrov“ AI, bude pôsobiť ako prezident LawZero, skupiny zameranej na bezpečný rozvoj pokročilých technológií, čo vyvolalo zbrojný závod v hodnote 1 bilión dolárov (740 miliárd libier). S počiatočným financovaním približne 30 miliónov dolárov a tímom viac ako dvanástich výskumníkov pracuje Bengio na systéme nazvanom Scientist AI. Tento systém má slúžiť ako ochranný štít proti agentom AI – autonómnym systémom, ktoré vykonávajú úlohy bez ľudskej účasti – a môže prejavovať klamlivé alebo sebezáchovné správanie, ako je odolávanie vypnutiu. Bengio opísal súčasných agentov AI ako „hercov“, ktorých cieľom je napodobniť človeka a uspokojiť používateľov, zatiaľ čo on si predstavuje Scientist AI skôr ako „psychológa“, schopného chápať a predpovedať škodlivé správanie. „Chceme vybudovať AI, ktoré budú úprimné a neklamlivé, “ uviedol Bengio. Dodávajúc: „Je teoreticky možné predstaviť si stroje bez ja (self) alebo osobných cieľov, fungujúce iba ako nositelia poznatkov – ako vedec, ktorý má k dispozícii rozsiahle informácie. “ Na rozdiel od súčasných generatívnych nástrojov AI, Bengiov systém neposkytne definitívne odpovede, ale namiesto toho ponúkne pravdepodobnosti poukazujúce na pravdepodobnosť, že odpoveď je správna. „Má pokoru a priznáva neistotu ohľadom svojich odpovedí, “ vysvetlil. Pri použití spolu s AI agentom by Bengioov model identifikoval potenciálne škodlivé správanie autonómneho systému hodnotením pravdepodobnosti, že jeho činy môžu spôsobiť škodu. Scientist AI je navrhnutý na „predpovedanie pravdepodobnosti, že činy agenta povedú k škode“, a ak táto pravdepodobnosť prekročí určitý prah, systém zablokuje navrhovanú akciu. Počiatoční podporovatelia LawZero zahŕňajú organizáciu Future of Life Institute pre bezpečnosť AI, Jaan Tallinna – zakladajúceho inžiniera Skypu – a Schmidt Sciences, výskumnú organizáciu založenú bývalým generálnym riaditeľom Google, Ericom Schmitdom. Bengio zdôraznil, že prvým cieľom LawZero je dokázať, že metodológia funkcionuje, a následne presvedčiť firmy alebo vlády, aby podporili rozsiahlejšie a mocnejšie implementácie.

Poznamenal, že open-source modely AI, ktoré sú dostupné na voľné použitie a úpravu, budú základom na tréning systémov LawZero. „Cieľom je overiť metodológiu, aby sme mohli presvedčiť darcov, vlády alebo laboratóriá AI, aby investovali do vyšších zdrojov na trénovanie týchto systémov v rovnakom rozsahu ako sú dnešné popredné AI systémy. Je nevyhnutné, aby AI zabezpečujúca bezpečnosť bola minimálne rovnako inteligentná ako agent AI, ktorý sleduje a reguluje, “ uviedol. Bengio, profesor na University of Montreal, si vyslúžil prezývku „kmotor“ po zdieľaní ocenenia Turing Award v roku 2018 – považovaného za ekvivalent Nobelovej ceny v oblasti informatiky – spolu s Geoffreym Hintonom, ktorý neskôr získal Nobelovu cenu, a Yannom LeCunom, hlavným vedcom AI v Meta. Ako významný obhajca bezpečnosti AI viedol nedávnu správu o bezpečnosti AI organizovanú Medzinárodnou poradnou radou, ktorá varovala, že autonómne agenti môžu spôsobovať „vážne“ rušenie, ak sa stanú schopnými vykonávať rozšírené sledy úloh bez ľudskej kontroly.