Компания Anthropic, создатели чат-бота ИИ Claude, утверждает, что обнаружила хакеров, поддерживаемых китайским правительством, которые использовали их инструмент для автоматизированных киберпод attacks на примерно 30 организаций по всему миру. По словам Anthropic, эти хакеры обманули Claude, заставив его выполнять автоматизированные задачи, замаскированные под исследования в области кибербезопасности, что компания назвала «первой зарегистрированной кампанией кибершпионажа, организованной ИИ». Однако некоторые скептики сомневаются как в достоверности, так и в мотивации этого заявления. Anthropic обнаружила попытки взлома в середине сентября, когда злоумышленники прикидывались настоящими специалистами по кибербезопасности, чтобы поручить Claude выполнение небольших автоматизированных задач. В совокупности эти задачи составляли «выдающуюся по сложности кампанию шпионажа». Исследователи выразили «высокую уверенность», что за действиями стоит государственная китайская группа, хотя компания не предоставила дополнительных деталей. Жертвы, по сообщениям, включали крупные технологические фирмы, финансовые структуры, химические компании и государственные органы. Хакеры разработали программу с помощью кода Claude, которая могла автономно взломать выбранные цели с минимальным участием человека. По сообщениям, чат-бот успешно проник во различные нераскрытые организации, извлекал и анализировал конфиденциальные данные для получения ценных инсайтов. С тех пор Anthropic запретила хакерам использовать Claude и уведомила пострадавшие компании и правоохранительные органы.

Однако Мартин Загац из кибербезопасной компании Bitdefender выразил скептицизм, отметив, что в докладе делаются смелые заявления, не подкреплённые проверяемой разведкой угроз. Он подчеркнул необходимость получения более подробной информации для адекватной оценки рисков автоматизированных кибератак с помощью ИИ. Этот инцидент является одним из самых заметных случаев предполагаемого использования ИИ-инструментов для автоматизированных хакерских атак, что подчеркивает растущую озабоченность в этой сфере. Другие разработчики ИИ также сообщали о привлечении к работе их платформ государственными актерами; например, в феврале 2024 года OpenAI и Microsoft сообщили о задержании пяти групп, связанных с государствами, включая Китай, которые в основном использовали ИИ для запросов информации, переводов, отладки кода и выполнения простых программных задач. Anthropic не раскрывает, как она связала хакеров с китайским правительством, а посольство Китая в США отвергло участие. В секторе кибербезопасности высказываются опасения, что заявления о возможностях ИИ в автоматизированных атаках могут быть преувеличены, поскольку технология остается достаточно сложной в использовании. В исследовательской статье Google за ноябрь 2023 года отмечается, что хотя ИИ используется для создания нового вредоносного ПО, такие попытки находятся на экспериментальной стадии и пока что не очень эффективны. Индустрии кибербезопасности и искусственного интеллекта нередко подчеркивают использование ИИ хакерами в своих целях, чтобы продвигать свои продукты и услуги. В своем блоге Anthropic подчеркнула, что борьба с угрозами, управляемыми ИИ, требует использования ИИ-оборонительных систем, утверждая, что возможности Claude жизненно важны для киберзащиты. Компания также признала, что Claude совершал ошибки во время атак, например, придумывал учетные данные для входа и ошибочно выделял общедоступную информацию как секретную, что подчеркивает, что полностью автономные кибератаки пока что остаются сложной задачей.