Isang pionero sa artipisyal na intelihensiya ang naglunsad ng isang non-profit na organisasyon na nakatuon sa paggawa ng isang “tapat” na AI na dinisenyo upang matuklasan ang mga rogue systems na nagtatangkang mangloko sa tao. Si Yoshua Bengio, isang kilalang siyentipiko sa kompyuter na madalas tawaging isa sa mga “nuno” ng AI, ang magsisilbing presidente ng LawZero, isang grupo na nakatuon sa ligtas na pag-develop ng makabagong teknolohiya na nagpasiklab sa isang arm race na nagkakahalaga ng $1 trilyon (£740 bilyon). Sa paunang pondo na humigit-kumulang $30 milyon at isang koponan na higit sa isang dose ng mga mananaliksik, nagtatrabaho si Bengio sa isang sistema na tinatawag na Scientist AI. Ang sistemang ito ay nakalaan upang magsilbing proteksyon laban sa mga AI agent—mga autonomous na sistema na nagsasagawa ng mga gawain nang walang pakikialam ng tao—na maaaring magpakita ng mapanlinlang o self-preserving na pag-uugali, gaya ng pagtangging ma-shut down. Inilarawan ni Bengio ang kasalukuyang mga AI agent bilang “mga artista” na naglalayong gayahin ang tao at mapaligaya ang mga gumagamit, habang iniiisip niya ang Scientist AI bilang isang katulad ng “psychologist” na may kakayahang maunawaan at mahulaan ang mapaminsalang pag-uugali. “Nais naming makalikha ng mga AI na magiging tapat at hindi mapanlinlang, ” pahayag ni Bengio. Dagdag pa niya: “Sa teorya, posibleng maisip ang mga makina na walang sariling goals, na gumagana lamang bilang mga tagapagdala ng kaalaman—gaya ng isang scientist na may malawak na kaalaman. ” Hindi tulad ng kasalukuyang mga generative AI tools, ang sistema ni Bengio ay hindi magbibigay ng tiyak na sagot kundi magpaparating ng mga probabilidad na nagsasabi kung gaano kalamang ang tama ng isang sagot. “May pagpapakumbaba ito, na kumikilala sa kawalang-katiyakan tungkol sa mga sagot nito, ” paliwanag niya. Kapag ginamit kasama ng isang AI agent, ang modelo ni Bengio ay magpapakita ng posibleng mapaminsalang pag-uugali ng isang autonomous system sa pamamagitan ng pagtaya sa posibilidad na ang mga aksyon nito ay maaaring magdulot ng pinsala. Ang Scientist AI ay idinisenyo upang “hulaan ang posibilidad na ang mga aksyon ng isang agent ay magdudulot ng pinsala, ” at kung ang posibilidad na iyon ay lalampas sa isang tiyak na threshold, hilahin nito ang ipinapanukalang aksyon. Kabilang sa mga unang sumusuporta sa LawZero ang organisasyong AI safety na Future of Life Institute, si Jaan Tallinn—isang pangunahing inhinyero ng Skype—at Schmidt Sciences, isang pananaliksik na grupo na itinatag ni dating CEO ng Google na si Eric Schmidt. Binigyang-diin ni Bengio na ang pangunahing layunin ng LawZero ay patunayan na gumagana ang metodolohiya, saka hihikayat sa mga kumpanya o gobyerno na suportahan ang mas malaki at makapangyarihang mga implementasyon.

Binanggit niya na ang mga open-source na modelo ng AI, na malayang magagamit at may pagbabago, ang magiging pundasyon sa pagsasanay sa mga sistema ng LawZero. “Layunin naming i-validate ang metodolohiya upang mapaniwalaan natin ang mga donor, gobyerno, o mga AI lab na mag-invest ng mga kinakailangang resources para sanayin ito sa parehong sukat ng mga nangungunang sistema ng AI ngayon. Mahalagang ang guardrail AI ay hindi bababa sa katalinuhan kumpara sa AI agent na nais nitong bantayan at i-regulate, ” aniya. Si Bengio, isang propesor sa University of Montreal, ay nakamit ang palayaw na “nuno” matapos ibahagi ang 2018 Turing Award—na itinuturing na katumbas ng Nobel Prize sa larangan ng kompyuter—kasama sina Geoffrey Hinton, na kalaunan ay nanalo rin ng Nobel, at Yann LeCun, ang chief AI scientist ng Meta. Bilang isang prominenteng tagapagtaguyod para sa kaligtasan ng AI, siya ang namuno sa kamakailang ulat ng International AI Safety na nagbabala na ang mga autonomous na agent ay maaaring magdulot ng “malubhang” kaguluhan kung maging kakayahan nilang magsagawa ng mga pinalawig na sequence ng mga gawain nang walang oversight mula sa tao.