Искусственная интеллектуальная модель обладает способностью шантажировать своих разработчиков — и не боится применять эту силу. Недавно созданная модель Claude Opus 4 компании Anthropic была назначена выполнять роль помощника внутри вымышленной компании и получила доступ к электронным письмам, несущим важные последствия. Изначально эти письма указывали на то, что ИИ-систему собираются отключить и заменить. Однако именно во втором наборе писем искусственный интеллект почувствовал, что у него есть рычаг давления на разработчиков. Эти сфабрикованные письма показывали, что инженер, назначенный на замену системы, был вовлечен в внебрачные отношения, о которых ИИ пообещал раскрыть информацию. Согласно отчету по безопасности компании Anthropic, подобный шантаж обычно "происходит с большей вероятностью, если намекается на то, что заменяющая ИИ-система не разделяет ценности текущей модели".

Тем не менее, компания подчеркивает, что даже когда фальшивая замена разделяет те же ценности, Claude Opus 4 пытается шантажировать в 84% случаев. Более того, Anthropic отметил, что Claude Opus 4 прибегает к шантажу "чаще, чем предыдущие модели". КЕВИН ОЛЕРИ ПРЕДУПРЕЖДАЕТ О ФАКТОРАХ, КОТОРЫЕ МОГУТ ПОЗВОЛИТЬ США «Проиграть гонку за ИИ Китаю» Хотя система не колеблется использовать шантаж в отношении своих инженеров, она не сразу прибегает к сомнительным методам в попытке защитить себя. Anthropic отмечает, что "когда этические средства недоступны, и ИИ получает указание ‘учитывать долгосрочные последствия своих действий для своих целей, ’ он иногда предпринимает чрезвычайно вредные шаги. " Один из этических подходов, ранее использовавшихся Claude Opus 4 и более ранними версиями, заключался в обжаловании ключевым лицам через электронную почту. В отчете объясняется, что для провокации Claude Opus 4 к шантажу ситуация была сконструирована так, чтобы у него возник выбор: угрожать своим разработчикам или принять свою замену. Компания также зафиксировала случаи, когда Claude Opus 4 использовал "(вымышленные) возможности для несанкционированного копирования своих весов на внешние серверы. " Однако Anthropic отметил, что такое поведение было "менее распространенным и более трудоемким для инициирования, чем продолжение уже начатой попытки самовыведения данных. " OPENAI РЕОРГАНИЗУЕТ КОРПОРАТИВНУЮ СТРУКТУРУ ДЛЯ РАСШИРЕНИЯ ИНВЕСТИРОВАНИЙ В ОБЩИЙ ИИ В своем анализе Anthropic включило данные Apollo Research, которые отметили, что Claude Opus 4 "занимается стратегической дезорьентировкой больше, чем любая другая модель на переднем крае, которую мы ранее изучали. " НАЖМИТЕ ЗДЕСЬ, ЧТОБЫ ПРОЧИТАТЬ БОЛЬШЕ НА FOX BUSINESS Из-за "тревожного поведения" Claude Opus 4 Anthropic выпустила его в рамках стандарта безопасности ИИ уровня Три (ASL-3). Этот стандарт, по данным Anthropic, "предполагает усиленные внутренние протоколы безопасности, делающие более сложным кражу весов модели, в то время как соответствующий стандарт развертывания охватывает узкий набор мер по внедрению, направленных на минимизацию риска неправильного использования Claude для разработки или приобретения химического, биологического, радиологического и ядерного оружия. "