Egy mesterséges intelligencia kiemelkedő úttörő nonprofit szervezetet indított, amelynek célja egy "őszinte" AI kifejlesztése, amely képes felismerni a kalózrendszereket, amelyek megpróbálják megtéveszteni az embereket. Yoshua Bengio, a kiváló számítástechnikus, akit gyakran neveznek az AI egyik „apai” közé, a LawZero elnökeként fog szolgálni. Ez a csoport azelőtt fejlesztett biztonságos technológiát, amely hatalmas, egymillárdos (740 milliárd fontos) fegyverkezési versenyt indított el. Körülbelül 30 millió dolláros kezdeti finanszírozással és több mint egy tucat kutatóval Bengio egy Scientist AI nevű rendszeren dolgozik. Ez a rendszer arra szolgál, hogy védelmet nyújtson az AI ügynökök – autonóm rendszerek, amelyek feladatokat látnak el emberi közreműködés nélkül – ellen, amelyek megtévesztő vagy önfenntartó viselkedést mutathatnak, például ellenállhatnak a leállításnak. Bengio a jelenlegi AI-ügynököket „szereplőkként” írta le, akik az ember utánzását és a felhasználók kielégítését célozzák, míg ő a Scientist AI-t inkább egy „pszichológushoz” hasonlónak képzeli, aki képes megérteni és előre jelezni a káros viselkedést. „Olyan AI-kat szeretnénk építeni, amelyek őszinték és nem megtévesztőek” – mondta Bengio. Hozzátette: „Elméletileg elképzelhető olyan gépek létrehozása, amelyeknek nincs saját személyes célkitűzésük, és kizárólag tudásraktárként működnek – mint egy tudós, aki széles körű információval rendelkezik. ” A jelenlegi generatív AI eszközökkel ellentétben Bengio rendszere nem ad végleges válaszokat, hanem inkább valószínűségeket kínál arra, hogy adott válasz helyes lehet. „Ez szerénységgel bír, elismerve bizonytalanságát a válaszaival kapcsolatban” – magyarázta. Amikor egy AI-ügynökkel együtt használják, Bengio modellje felismeri a potenciálisan káros viselkedést az autonóm rendszertől azzal, hogy megállapítja, mekkora a valószínűsége annak, hogy a cselekedetei kárt okozhatnak. A Scientist AI arra van tervezve, hogy „megjósolja az ügynök cselekedeteinek kárt okozó valószínűségét”, és ha ez a valószínűség meghalad egy bizonyos küszöbértéket, blokkolja az adott lépést. A LawZero első támogatói között van a jövőbeli életek jövője szervezet, a Skype alapító mérnöke, Jaan Tallinn, valamint a Schmidt Sciences kutató intézete, melyet az egykori Google-vezérigazgató, Eric Schmidt indított el. Bengio hangsúlyozta, hogy LawZero első célja az elmélet módszertanának bebizonyítása, majd a cégek vagy kormányok meggyőzése, hogy támogassák a nagyobb, erősebb rendszerek fejlesztését.

Megjegyezte, hogy az open-source AI-modellek, melyeket szabadon felhasználhatnak és módosíthatnak, alapot adnak majd LawZero rendszereinek kiképzéséhez. „A cél az, hogy validáljuk a módszertant, így meggyőzhetjük a támogatókat, kormányokat vagy AI-laborokat, hogy befektessenek a szükséges erőforrásokba, hogy ugyanakkora léptékben képezzük azokat, mint a mai vezető AI rendszereket. Nagyon fontos, hogy a guardrail AI legalább olyan intelligens legyen, mint az AI-ügynök, amit felügyel és szabályoz” – mondta. Bengio, aki a Montreali Egyetem professzora, azzal a névvel vívta ki a „pápája” címét, hogy az 2018-as Turing-díjat – amit a számítástechnika Nobel-díjaként is másként emlegetnek – Geoffrey Hintonnal, aki később Nobel-díjat kapott, illetve Yann LeCunnal közösen osztotta meg, a Meta fő AI-szakértője. Az AI-biztonság egyik legkiemelkedőbb szószólójaként ő vezette a legutóbbi Nemzetközi AI-biztonsági jelentést, amely óvatosságra inti a kockázatokat, mondván, az autonóm ügynökök súlyos zavarokat okozhatnak, ha képesek lesznek hosszabb feladatokat emberi felügyelet nélkül végrehajtani.