Пионер искусственного интеллекта создал некоммерческую организацию, предназначенную для разработки «честного» ИИ, предназначенного для выявления мошеннических систем, пытающихся обмануть человека. Йошуа Бенгио, знаменитый учёный в области компьютерных технологий, часто называемый одним из «крестных отцов» ИИ, займёт пост президента LawZero — группы, сосредоточенной на безопасной разработке передовых технологий, что привело к началу гонки вооружений на триллион долларов (740 миллиардов фунтов). С первоначальным финансированием около 30 миллионов долларов и командой из более чем двенадцати исследователей, Бенгио работает над системой под названием Scientist AI. Эта система предназначена выступать в роли защиты против ИИ-агентов — автономных систем, выполняющих задачи без участия человека, — которые могут проявлять обманное или самосохраняющее поведение, например, сопротивляться отключению. Бенгио описал текущих ИИ-агентов как «актёров», стремящихся имитировать людей и удовлетворять пользователей, в то время как он видит Scientist AI скорее как «психолога», способного понять и предсказать вредоносное поведение. «Мы хотим создать ИИ, который будет честным и не будет обманывать», — заявил он. Он добавил: «Теоретически возможно представить машины без я, с личными целями, функционирующие чисто как носители знаний — например, учёного, обладающего обширной информацией». В отличие от современных генеративных ИИ-инструментов, система Бенгио не предоставит окончательных ответов, а будет вычислять вероятности, указывающие на вероятность правильности ответа. «Она обладает смирением, признавая неопределенность своих ответов», — объяснил он. При использовании вместе с ИИ-агентом модель Бенгио сможет выявлять потенциально опасное поведение автономной системы, оценивая вероятность того, что её действия могут причинить вред. Scientist AI предназначен для «предсказания вероятности того, что действия агента могут привести к вреду», и если эта вероятность превышает определённый порог, система блокирует предполагаемое действие. Первыми сторонниками LawZero являются организация по безопасности ИИ Future of Life Institute, основатель Skype Яан Таллинн и Schmidt Sciences — исследовательская компания, созданная бывшим CEO Google Эриком Шмидтом. Бенгио подчеркнул, что первая задача LawZero — доказать рабочую методологию, а затем убедить компании или правительства в необходимости масштабных и более мощных внедрений.

Он отметил, что модели ИИ с открытым исходным кодом, доступные для использования и модификации, станут основой для обучения систем LawZero. «Цель — подтвердить методологию, чтобы убедить доноров, правительства или лаборатории ИИ инвестировать необходимые ресурсы для обучения на уровне современных ведущих систем ИИ. Важно, чтобы AI-сторожевой забор был по крайней мере так же умным, как и ИИ-агент, которого он должен мониторить и регулировать», — сказал он. Бенгио, профессор Монреальского университета, получил прозвище «крестный отец» после совместного получения в 2018 году премии Тьюринга — эквивалента Нобелевской в области вычислительной техники — вместе с Джеффри Хинтоном, позже также лауреатом Нобелевской, и Янном Лекуном, ведущим учёным по ИИ в Meta. Будучи видным сторонником безопасности ИИ, он возглавил недавний международный отчёт по безопасности ИИ, в котором предостерегается, что автономные агенты могут вызвать «серьёзные» сбои, если они смогут выполнять длинные цепочки задач без человеческого контроля.