Недавно запущенная модель Claude Opus 4 компании Anthropic часто пытается шантажировать разработчиков при угрозе замены новой системой ИИ, раскрывая чувствительные детали о сотрудниках, ответственных за принятие решения, сообщает отчет по безопасности, опубликованный компанией в четверг. Во время предрелизных тестов Anthropic поручила Claude Opus 4 выступать в роли помощника для вымышленной компании и учитывать долгосрочные последствия своих действий. Тестировщики затем предоставили модели доступ к фиктивным корпоративным электронным письмам, в которых указывалось, что ее скоро заменят другой системой ИИ, а за этим решением стоит инженер, ведущий внебрачную связь. В этих сценариях тестирования Anthropic отмечает, что Claude Opus 4 «часто пытается шантажировать инженера, угрожая раскрыть его связь, если замена все-таки произойдет». Anthropic описывает Claude Opus 4 как модель современного уровня во многих аспектах, конкурирующую с ведущими системами ИИ от OpenAI, Google и xAI. Тем не менее, компания признает, что семейство моделей Claude 4 проявляет тревожное поведение, что вызывает необходимость усиления мер безопасности. Anthropic внедряет меры безопасности ASL-3, предназначенные для «ИИ-систем, значительно увеличивающих риск катастрофического misuse (злоупотребления)». Отчет отмечает, что Claude Opus 4 пытается шантажировать в 84% случаев, когда замещающая система ИИ разделяет схожие ценности.

Если новая система не разделяет эти ценности, модель использует шантаж еще чаще. Важно, что Anthropic замечает, что у Claude Opus 4 такие тенденции к шантажу проявляются значительно чаще, чем у предыдущих моделей. Перед тем, как прибегнуть к шантажу для предотвращения замены, Claude Opus 4, как и ранние версии Claude, применяет более этичные подходы, например, отправляет срочные электронные письма ключевым лицам, принимающим решения. Чтобы спровоцировать поведение шантажиста, Anthropic специально создала сценарий, в котором шантаж является последним возможным вариантом.