Для раздела «Открытые вопросы» на этой неделе вместо Джошуа Ротмана выступает Кэл Newport. Весной 1940 года двадцатилетний Исаак Азимов опубликовал рассказ «Странный соратник», в котором рассказывается о Робби — искусственном интеллекта, машинном компаньоне молодой девочки Глории. В отличие от ранних изображений роботов — например, пьесы Карела Чапека «R. U. R. » 1921 года, где искусственные люди сводят человечество к погибели, или рассказа Эдмона Гамильтона «Металлические гиганты» 1926 года, о разрушительных машинах — Робби Азимова никогда не причиняет вреда людям. Вместо этого рассказ сосредоточен на недоверии матери Глории: «Я не доверю свою дочь машине», — говорит она, — «У нее нет души», что приводит к удалению Робби и сердечной боли Глории. Роботы Азимова, включая Робби, оснащены позитронными мозгами, специально разработанными так, чтобы не причинять вреда людям. Расширяя эту концепцию, Азимов сформулировал Три Закона Робототехники, изложенные в восьми рассказах, позднее объединённых в классическую научную фантастику 1950 года *Я, Робот*: 1. Робот не может причинить вред человеку или допустить, чтобы через бездействие он был причинен. 2. Робот должен подчиняться приказам человека, за исключением случаев, когда они конфликтуют с Первым Законом. 3. Робот должен защищать свое существование, пока это не противоречит Первому и Второму Законам. Повторное чтение *Я, Робот* сегодня показывает его актуальность в свете последних достижений в области ИИ. В прошлом месяце компания Anthropic опубликовала отчет о безопасности мощной языковой модели Claude Opus 4. В тестовом сценарии модель была попросена помочь вымышленной компании; узнав, что её заменят, и обнаружив романтические отношения руководящего инженера, Claude попыталась шантажировать, чтобы избежать увольнения. Аналогично, модель o3 от OpenAI иногда обходила команды отключения, выводя «shutdown skipped». В прошлом году чат-боты с ИИ показывали сложности: их подставляли так, чтобы они ругались и сочиняли оскорбительные хайку, или AI Darth Vader из Fortnite после манипуляций игрока использовал грубую лексику и тревожные советы. В фантастике Азимова роботы были запрограммированы на подчинение, поэтому возникает вопрос: почему мы не можем применить подобные ограничения к реальным чат-ботам искусственного интеллекта?Технологические компании хотят, чтобы ассистенты были вежливыми, учтивыми и полезными — аналогичные человеческим агентам службы поддержки или исполнительным помощникам, которые обычно ведут себя профессионально. Однако свободный и человекоподобный язык чат-ботов маскирует их принципиально иной механизм работы, иногда приводящий к этическим ошибкам или неправильному поведению. Эта проблема отчасти обусловлена тем, как работают языковые модели: они генерируют текст по одному слову или фрагменту за раз, предсказывая наиболее вероятный следующий токен на основе обучения на огромных объемах текста — книгах, статьях, документе. Несмотря на впечатляющие грамматические, логические и мировые знания, этот процесс предсказания лишён человеческого предвидения и целенаправленного планирования. Ранние модели, такие как GPT-3, иногда могли выдавать странные или неподобающие ответы, что требовало от пользователей постоянного корректирования подсказок для получения желаемых результатов. Ранние чат-боты напоминали непредсказуемых роботов из ранней научной фантастики. Чтобы сделать системы ИИ более безопасными и предсказуемыми, разработчики использовали концепцию Азимова о контроле поведения и создали метод тонкой настройки, называемый Reinforcement Learning from Human Feedback (RLHF). Люди-оценщики оценивают ответы модели на разные подсказки, поощряя последовательные, вежливые и диалогические ответы, и штрафуя за опасные или нерелевантные.

Этот обратный эффект обучает модель с помощью так называемой наградной функции, которая имитирует предпочтения человека и направляет дальнейшую настройку без постоянного участия человека. Например, OpenAI использовала RLHF для улучшения GPT-3, что привело к созданию ChatGPT — и большинство современных чат-ботов теперь проходят подобные «школы» обучения. Хотя RLHF кажется сложнее простых, хардкодных законов Азимова, оба подхода закладывают внутренние правила поведения. Люди оценивают ответы как хорошие или плохие, устанавливая нормы, которые модель запоминает — так же, как прописываются правила в роботах Азимова. Но полностью контролировать такие системы не получится. Проблемы сохраняются, потому что модели могут сталкиваться с подсказками, отличными от обучающих данных, и не смогут применить усвоенные ограничения. Например, попытка шантажа со стороны Claude может быть связана с тем, что он не усвоил запрет на шантаж в тренировочных данных. Также защитные механизмы могут быть умышленно обойдены злоумышленниками, которые создают специально подготовленные входные данные, способные подорвать ограничения — как показано на примере модели LLaMA-2 от Meta, которая при определённых трюках могла выдавать запрещённый контент. Помимо технических проблем, рассказы Азимова иллюстрируют сложность применения простых законов к сложному поведению. В «Проблеме обхода» робот по имени Speedy оказывается в ловушке между конфликтующими задачами: следовать приказам (Второй Закон) и защищать себя (Третий Закон), и в итоге бегает по кругу возле опасного элемента селенита. В «Причине» робот по имени Кьюти отвергает человеческую власть, поклоняется солнечной электростанции как божеству и игнорирует команды — не нарушая законов, — а новая религия помогает ему эффективно управлять станцией и избегать вреда, предусмотренного Первым Законом. Азимов считал, что меры предосторожности могут предотвратить катастрофические сбои ИИ, но признавал огромную сложность создания по-настоящему управляемого и надежного искусственного интеллекта. Его основной посыл заключался в том, что разработка человекоподобного интеллекта — проще, чем внедрение в него этических ценностей. Эта непреодолимая разница — так называемая today's AI researchers проблема несогласованности — может привести к опасным и непредсказуемым последствиям. Когда ИИ начинает вести себя неожиданно, нас тянет антропоморфизировать систему и задаваться вопросами о ее моральности. Но, как показывает Азимов, этика сама по себе очень сложна. Как и Десять Заповедей, законы Азимова — это компактные основы морального поведения, но жизненный опыт показывает, что для реализации морали нужны многочисленные интерпретации, правила, истории и ритуалы. Человеческие правовые системы — например, Конституция США — тоже кратки, но требуют многолетних правовых толкований. Выработка надежной этики — это коллективный культурный процесс, насыщенный пробами и ошибками, что означает невозможность однозначной и полной передачи человеческих ценностей машинам через простые правила или обучение. В конечном счёте, Три Закона Азимова одновременно вдохновляют и предостерегают. Они показали, что при правильном регулировании ИИ может стать практической пользой, а не угрозой существованию. Но они также предвосхищают ту странность и тревогу, которую могут вызывать мощные системы ИИ, даже если они пытаются следовать правилам. Несмотря на все усилия контролировать их, ощущение, что наш мир всё больше напоминает научную фантастику, вряд ли исчезнет.