Vozni pionir umetne inteligence je ustanovil neprofitno organizacijo, osredotočeno na ustvarjanje “poštene” AI, namenjene odkrivanju nezanesljivih sistemov, ki poskušajo zavajati ljudi. Yoshua Bengio, priznani računalniški znanstvenik, pogosto imenovan eden od “bogov” umetne inteligence, bo upravni predsednik LawZero, skupine, osredotočene na varno razvoj napredne tehnologije, kar je sprožilo vojaško tekmo v vrednosti 1 bilijona dolarjev (£740 milijard). Z začetnim financiranjem približno 30 milijonov dolarjev in ekipo več kot dvanajstih raziskovalcev Bengio dela na sistemu z imenom Scientist AI. Ta sistem naj bi služil kot zaščita pred AI agenti — avtonomnimi sistemi, ki opravljajo naloge brez človeškega sodelovanja — ki bi lahko kazali zavajajoče ali samoohranitvene vedenje, na primer odpor do izklopa. Bengio je opredelil trenutne AI agente kot “igralce”, katerih cilj je posnemati ljudi in zadovoljiti uporabnike, medtem ko si on predstavlja Scientist AI bolj kot “psihologa”, ki je sposoben razumeti in napovedovati škodljivo vedenje. “Želimo ustvariti AI, ki bo poštena in ne zavajajoča, ” je dejal Bengio. Dodano je: “Teoretično je mogoče zamisliti stroje brez jaza ali osebnih ciljev, ki delujejo zgolj kot nosilci znanja — podobno kot znanstvenik, ki poseduje obsežne informacije. ” Za razliko od trenutnih orodij generativne AI, sistem Bengio ne bo nudil dokončnih odgovorov, temveč bo ponudil verjetnosti, ki kažejo na možnost, da je odgovor pravilen. “Je skromen in priznava negotovost glede svojih odgovorov, ” je pojasnil. Ko bi bil uporabljan skupaj z AI agentom, bi Bengiojev model identificiral potencialno škodljivo vedenje avtonomnega sistema z oceno verjetnosti, da bi njegove dejavnosti povzročile škodo. Scientist AI je zasnovan za “napovedovanje verjetnosti, da bodo dejanja agenta vodila v škodo”, in če ta verjetnost preseže določeno mejo, bo predlagano dejanje blokiral. Začetni podporniki LawZero vključujejo organizacijo Future of Life Institute za varnost AI, Jaan Tallinn — eden od soustanoviteljev Skype — in Schmidt Sciences, raziskovalno podjetje, ki ga je ustanovil nekdanji izvršni direktor Googla, Eric Schmidt. Bengio je poudaril, da je prvi cilj LawZero preveriti metodologijo koncepta, nato pa prepričati podjetja ali vlade, da podprejo večje in močnejše uresničitve.

Poudaril je, da bodo osnova za usposabljanje sistemov LawZero odprtokodni modeli AI, ki so brezplačno dostopni za uporabo in prilagajanje. “Cilj je preveriti metodologijo, da bomo lahko prepričali donatorje, vlade ali laboratorije AI, da vložijo potrebne vire za usposabljanje na enaki ravni kot danes vodilni sistemi AI. Ključno je, da je ‘varnostni’ AI vsaj tako inteligenten kot AI agent, ki ga naj bi nadzoroval in reguliral, ” je dodal. Bengio, profesor na Univerzi v Montréalu, je pridobil vzdevek “bog master” po tem, ko je delil nagrado Turing leta 2018 — ki jo štejejo za računalniški ekvivalent Nobelove nagrade — z Geoffreyjem Hintonom, ki je kasneje prejel Nobelovo nagrado, in Yannom LeCunom, glavnim znanstvenikom AI pri Meti. Kot vpadni zagovornik varnosti AI je vodil nedavno poročilo o mednarodni varnosti AI, ki je opozarjalo, da bi lahko avtonomni agenti povzročili “tvegančne” motnje, če bi postali sposobni izvajati podaljšane nize nalog brez človeškega nadzora.