Пионер в областта на изкуствения интелект е създал неправителствена организация, посветена на създаването на „честен“ ИИ, предназначен да открива дързки системи, опитващи се да мамят човека. Юшуа Бенжио, изтъкнат компютърен учен, често наричан един от „кръжоковете“ на ИИ, ще бъде президент на LawZero – група, фокусирана върху безопасното развитие на напреднали технологии, което е провокирало надпревара за оръжия на стойност 1 трилион долара (£740 милиарда). С начално финансиране от около 30 милиона долара и екип от над дузина изследователи, Бенжио работи върху система, наречена Scientist AI. Тази система е предназначена да служи като защита срещу агенти на ИИ — автономни системи, изпълняващи задачи без човешко участие, които може да проявяват заблуждаващо или самосъхраняващо поведение, като например съпротива срещу изключване. Бенжио описа настоящите агенти на ИИ като „актьори“, целящи да имитират човека и да удовлетворяват потребителите, докато той вижда Scientist AI по-подобен на „психолог“, способен да разбира и предвижда вредно поведение. „Искаме да създадем ИИ, които ще бъдат честни и няма да мамят“, заяви Бенжио. Той добави: „Теоретично е възможно да се представят машини без собствено „аз“ или лични цели, които функционират чисто като носители на знания — като учен, който притежава обширна информация. “ За разлика от текущите генеративни инструменти на ИИ, системата на Бенжио няма да дава окончателни отговори, а вместо това ще предоставя вероятности за това колко е вероятно даден отговор да е верен. „Този ИИ има смирение и признава несигурността относно отговорите си“, обясни той. Когато се използва заедно с агент на ИИ, моделът на Бенжио ще идентифицира потенциално опасно поведение на автономна система, като оцени вероятността неговите действия да доведат до вреда. Scientist AI е проектиран да „предсказва вероятността дадено действие на агент да доведе до вреда“ и ако тази вероятност превиши даден праг, ще блокира предложеното действие. Първите поддръжници на LawZero включват организацията за безопасност на ИИ Future of Life Institute, Яан Таллин — основен инженер на Skype — и Schmidt Sciences, изследователска компания, основана от бившия изпълнителен директор на Google, Ерик Шмид. Бенжио подчерта, че първата цел на LawZero е да докаже, че методологията работи, след което да убеди компании или правителства да подкрепят по-големи и по-мощни реализации. Той отбеляза, че моделите с отворен код, които са свободно достъпни за използване и модифициране, ще бъдат основата за обучение на системите на LawZero. „Целта е да валидираме методологията, за да можем да убедим дарители, правителства или лаборатории за ИИ да инвестира необходимите ресурси за обучение на системи на същата мащабност като водещите системи днес.

Важно е защитният ИИ да бъде поне толкова интелигентен, колкото агентът, който трябва да наблюдава и регулира“, каза той. Бенжио, професор в Университета в Монреал, получи прякора „кръстник“ след като сподели наградата Тюринг през 2018 г. — считана за еквивалента на Нобелова награда по компютърни науки — заедно с Гефори Хинтън, който също по-късно получи Нобел, и Ян ЛьоКун, главният учен по ИИ в Meta. Като виден застъпник за безопасността на ИИ, той ръководи последния международен доклад за безопасността на ИИ, който предупреди, че автономните агенти могат да причинят „сериозни“ сътресения, ако станат способни да изпълняват разширени последователности от задачи без човешки надзор.