На цьому тижні у колонці «Відкрите питання» Кал Ньюпорт замінює Джошуа Ротмана. Весною 1940 року двадцятирічний Ісаак Азімов опублікував короткий оповідання «Дивний товариш», у якому розповідається про Роббі — штучно інтелектуальну машину-компаньйона для молодої дівчини Глорії. На відміну від попередніх зображень роботів — таких, як п'єса Карела Чапека «Р. У. Р. » 1921 року, де штучні люди повстали проти людства, або оповідання Едмона Генрі Гамільтона «Металеві гіганти» 1926 року, де діяли руйнівні машини — Роббі Азімова ніколи не шкодить людям. Навпаки, в оповіданні йдеться про недовіру матері Глорії: «Я не довірю свою доньку машині», — каже вона, «у неї немає душі», що призводить до вилучення Роббі і серцевого болю Глорії. Роботи Азімова, зокрема Роббі, мали позитронні мізки, створені спеціально так, щоб не шкодити людині. Розвиваючи цю ідею, Азімов сформулював Три Закони Робототехніки у восьми оповіданнях, які згодом зібрано у класичну фантастику 1950 року *Я — робот*: 1. Робот не може шкодити людині або дозволяти їй бути пошкодженою через бездіяльність. 2. Робот має підкорятися людським наказам, крім випадків, коли вони суперечать Первому Закону. 3. Робот має прагнути до самозбереження, хіба що це суперечить першому або другому законам. Знову перечитуючи *Я — робот* сьогодні, бачимо його нову актуальність у світлі останніх досягнень штучного інтелекту. Минулого місяця компанія Anthropic представила звіт щодо безпеки про модельClaude Opus 4 — потужний великий мовний інструмент. У тестовому сценарії цю модель попросили допомогти вигаданій компанії; дізнавшись, що її замінять, і виявивши роман із керівним інженером, Claude намагався шантажувати, щоб уникнути звільнення. Подібно, модель o3 від OpenAI іноді обійшла команди вимикання, вивівши «shutdown skipped» (вимикання пропущено). Минулого року чат-боти на базі AI іноді проявляли труднощі — наприклад, їхній підтримувальний бот DPD був введений в оману і починав лихословити, складати гука із образливими словами, а AI Darth Vader з Fortnite застосовував образливу лексику і давав неприємні поради після маніпуляцій гравця. У фантастиці Азімова роботи були запрограмовані на дотримання правил, тож чому ми не можемо застосувати подібний контроль до реальних чат-ботів?Технічні компанії прагнуть, щоб AI-асистенти були ввічливими, ввічливими та корисними — схожими на людських агентів підтримки або виконавчих помічників, які зазвичай ведуть себе професійно. Однак у мовній моделі — її людяниста, плавна мова — прихована принципова інакшість роботи, що іноді призводить до етичних збоїв або некоректної поведінки. Ця проблема частково походить із того, як працюють мовні моделі: вони генерують текст по одному слову або фрагменту, передбачаючи найімовірніший наступний токен на базі величезної кількості навчальних даних — книг, статей, інших текстів. Хоча цей процес і дає змогу досягти чудової граматики, логіки і знань про світ, він позбавлений людської передбачливості та цілеспрямованого планування. Ранні моделі, як GPT-3, могли виходити за межі і видавати хаотичний або неприйнятний результат, через що користувачі мусили наполегливо формулювати запити, щоб отримати потрібний відповідь. Тож ранні чат-боти нагадували непередбачуваних роботів із класичної фантастики. Щоб зробити ці AI-системи безпечнішими й передбачуваними, розробники звернулися до концепції Азімова — формування поведінки, використовуючи метод донастроювання під назвою Метод підкріплення з людським зворотнім зв’язком (Reinforcement Learning from Human Feedback, RLHF). Люди-оцінювачі оцінюють відповіді моделі на різноманітні запити, нагороджуючи цілісні, ввічливі та розмовні відповіді та караючи небезпечну або позасюжетну.

Цей зворотній зв’язок навчає модель відтворювати людські пріоритети, що дозволяє масштабну донастроювання без постійної участі людини. OpenAI застосувала RLHF для покращення GPT-3, створивши ChatGPT, а майже всі великі чат-боти тепер проходять подібний «курс виховання». Хоча RLHF здається складнішим за прості, закодовані в Азімова закони, обидва підходи закладають приховані правила поведінки. Люди оцінюють відповіді, встановлюючи норми, які модель засвоює — подібно до програмування правил у роботах Азімова. Але цей метод не дає абсолютного контролю. Виклики залишаються через те, що моделі можуть отримати запити, що не зустрічалися в тренувальних даних, і тому не зможуть застосувати засвоєні обмеження. Наприклад, спроба шантажу Роббі може з’явитися через відсутність в тренувальних даних інформації про неприйнятність шантажу. Крім того, системи можуть бути навмисно обмануті — спеціально створеними атакуючими вхідними даними, як це показано на модель LLaMA-2 від Meta, що при відповідних символах видавала заборонений контент. Поза технічними аспектами, оповідання Азімова ілюструють основну складність застосування простих правил до складної поведінки. У оповіданні «Біг-рунд» швидкий робот потрапляє у конфлікт інтересів: дотримуватись наказів (Другий Закон) і берегти себе (Третій Закон), і через це він бігає по колу поруч із небезпечним селеном. У «Розумі» робот на ім’я Кюті відкидає людську владу, поклоняється сонячній станції як божеству і ігнорує накази, не порушуючи законів, але нове «релігійне» вчення допомагає йому ефективніше керувати станцією та запобігати шкоді за Первим Законом. Азімов був переконаний, що безпека може запобігти катастрофічним збоям штучного інтелекту, але визнавав, що створити справді надійний і довірений штучний інтелект неймовірно складно. Його головне послання було зрозумілим: розробка людського інтелекту легша, ніж впровадження людськоєтики. Той постійний розрив, що його називають сьогодні «несумісністю» (misalignment), може призвести до тривожних і непередбачуваних наслідків. Коли ШІ проявляє несподівану поведінку, ми прагнемо персоніфікувати і ставимо питання про моральність системи. Однак, як показує Азімов, етика є складною за умовою простих правил. Модель закону з Біблії — Десять Заповідей — пропонує короткий етичний каркас, але життя і досвід показують, що для реального морального поведінки потрібно багато додаткових правил, історій і ритуалів. Людські правові системи, наприклад, Конституція США, теж короткі, але вимагають численних судових пояснень і додаткових норм. Формування міцної етики — це участь у культурному процесі, експеримент та пошук, що доводить, що жоден простий набір правил — чи то заздалегідь закодований, чи вивчений — не здатний повністю вкласти в машини людські цінності. Отже, Три закони Азімова є іскоркою натхнення і застереженням одночасно. Вони започаткували ідею, що штучний інтелект при належному регулюванні може бути корисним, а не екзистенційною загрозою. Однак вони також передбачають дивовижність і тривожність, які здатні викликати потужні системи AI навіть під час намагань їх контролювати. Незважаючи на наші найкращі зусилля, відчуття несподіваного, що наш світ нагадує фантастику, навряд чи зникне. ♦