Průkopník umělé inteligence založil neziskovou organizaci věnovanou vytváření „poctivé“ AI, která má za úkol odhalovat zrádné systémy snažící se oklamat člověka. Yoshua Bengio, uznávaný výpočetní vědec často označovaný za jednoho z „kmotrů“ AI, bude sloužit jako prezident organizace LawZero, skupiny zaměřené na bezpečný rozvoj pokročilých technologií, která započala vzrůstající zbrojní závod o hodnotě 1 bilionu dolarů (£740 miliard). S počátečním financováním přibližně 30 milionů dolarů a týmem více než dvanácti výzkumníků Bengio pracuje na systému nazvaném Scientist AI. Tento systém má sloužit jako ochrana proti agentům AI — autonomním systémům, které plní úkoly bez lidského zásahu — jež by mohly projevovat klamavé nebo se sebou udržující chování, například se bránit vypnutí. Bengio popsal současné AI agentury jako „akčníky“, jejichž cílem je napodobovat lidi a uspokojovat uživatele, zatímco on si představuje Scientist AI spíše jako „psychologa“, schopného porozumět a předpovědět škodlivé chování. „Chceme stavět AI, která budou poctivá a neklamavá, “ prohlásil Bengio. Dodal: „Je teoreticky možné si představit stroje bez jádra nebo osobních cílů, fungující čistě jako držitelé znalostí — například jako vědec, který disponuje rozsáhlými informacemi. “ Na rozdíl od současných generativních AI nástrojů, Bengioův systém nebude poskytovat definitivní odpovědi, ale spíše udávat pravděpodobnosti, které ukazují, jak pravděpodobné je, že daná odpověď je správná. „Má pokoru a přiznává nejistotu ohledně svých odpovědí, “ vysvětlil. Použití spolu s AI agentem by model Bengio mohla identifikovat potenciálně škodlivé chování autonomního systému tím, že bude posuzovat pravděpodobnost, že jeho činy mohou způsobit škodu. Scientist AI je navržen tak, aby „předpovídal pravděpodobnost, že činy agenta povedou ke škodě“, a pokud tato pravděpodobnost překročí určitý práh, zablokuje navrhované opatření. Prvotní podporovatelé LawZero zahrnují organizaci Future of Life Institute zaměřenou na AI bezpečnost, jádrového inženýra Skypu Jaan Tallina a Schmidt Sciences, výzkumnou entitu založenou bývalým generálním ředitelem Google Eričem Schmidtem. Bengio zdůraznil, že prvním cílem LawZero je ověřit, že metodologie konceptu funguje, a poté přesvědčit společnosti nebo vlády, aby podpořily větší a silnější implementace.

Zdůraznil, že základem výcviku systémů LawZero budou otevřené modely AI, které jsou volně dostupné ke použití a úpravám. „Cílem je ověření metodologie, aby bylo možné přesvědčit dárce, vlády nebo AI laboratoře, aby investovaly potřebné zdroje do výcviku na úrovni dnešních předních AI systémů. Je klíčové, aby AI, která dozoruje, byla alespoň stejně inteligentní jako agent AI, který má monitorovat a regulovat, “ uvedl. Bengio, profesor na University of Montreal, získal přezdívku „kmotr“ poté, co v roce 2018 sdílel Cena Turinga — považovaná za ekvivalent Nobelovy ceny v oblasti informatiky — s Geoffrey Hintonem, který později získal Nobelovu cenu, a Yannem LeCunem, hlavním vědcem AI ve společnosti Meta. Jako významný zastánce bezpečnosti AI vedl nedávnou Mezinárodní zprávu o bezpečnosti AI, která varovala, že autonomní agenti by mohli způsobit „vážné“ narušení, pokud by získali schopnost vykonávat delší sekvence úloh bez lidského dohledu.