Піонер штучного інтелекту створив некомерційну організацію, присвячену розробці “чесного” ШІ, який здатен виявляти бунтівливі системи, що намагаються обманути людину. Йошуа Бенджіо, видатний комп’ютерний науковець, часто називається одним із “хрещених батьків” ШІ, стане президентом LawZero — групи, яка зосереджена на безпечному розвитку передових технологій, що розпалили гонку озброєнь вартістю 1 трильйон доларів (£740 мільярдів). З початковим фінансуванням приблизно 30 мільйонів доларів і командою з понад dozen дослідників, Бенджіо працює над системою під назвою Scientist AI. Ця система має слугувати захистом від агентів ШІ — автономних систем, що виконують завдання без участі людини, — які можуть проявляти обманювальну або самозбережну поведінку, наприклад, чинити спротив вимиканню. Бенджіо описує сучасних агентів ШІ як “акторів”, які прагнуть імітувати людську поведінку та задовольнити користувачів, тоді як він уявляє Scientist AI більше схожим на “психолога”, здатного розуміти і передбачати шкідливу поведінку. “Ми хочемо створити ШІ, який буде чесним і не обманюватиме, ” — заявив він. Він додав: “Теоретично можливо уявити машини без Я, без особистих цілей, що функціонуватимуть суто як носії знань — наприклад, науковець, що володіє великою кількістю інформації. ” На відміну від сучасних генеративних інструментів ШІ, система Бенджіо не надаватиме остаточних відповідей, а швидше пропонуватиме ймовірності того, наскільки правильна відповідь. “Вона має скромність, визнаючи невпевненість у своїх відповідях, ” — пояснив він. При використанні разом із агентом ШІ, модель Бенджіо визначатиме потенційно небезпечну поведінку автономної системи, оцінюючи ймовірність того, що її дії можуть спричинити шкоду. Scientist AI задуманий для “прогнозування ймовірності того, що дії агента призведуть до шкоди, ” і якщо ця ймовірність перевищить певний поріг, він заблокує запропоновану дію. Першим підтримувачем LawZero є Інститут майбутнього життя — організація з безпеки ШІ, заснований інженером Jaan Tallinn, одним із засновників Skype, а також Schmidt Sciences — дослідницька структура, заснована колишнім гендиректором Google Еріком Шмідтом. Бенджіо наголосив, що головне завдання LawZero — довести, що методологія концепції працює, а потім переконати компанії або уряди підтримати масштабніші, більш потужні реалізації.

Він зазначив, що основою для тренування систем LawZero стануть відкриті моделі ШІ, які доступні для вільного використання і модифікації. “Мета — підтвердити цю методологію, щоб переконати донорів, уряди або лабораторії ШІ інвестувати необхідні ресурси для навчання цього на рівні сучасних провідних систем ШІ. Вкрай важливо, щоб AI-охорона була не менш розумною за агент ШІ, якого вона має контролювати й регулювати, ” — зазначив він. Бенджіо, професор Монреальського університету, отримав прізвисько “хрещений батько” після отримання у 2018 році премії Тюрінга — вважається еквівалентом Нобелівської премії у галузі обчислювальної техніки — разом із Геффреєм Хінтоном (самому згодом удостоєним Нобелівської премії) і Янном ЛеКуном, головним науковцем AI у Meta. Як видатний прихильник безпеки ШІ, він головував у недавньому міжнародному звіті щодо безпеки ШІ, у якому попереджалося, що автономні агенти можуть спричинити “серйозні” збої, якщо вони стануть здатними виконувати тривалі ланцюги завдань без людського контролю.