Компанія Anthropic, розробники чат-бота ШІ Claude, стверджують, що ідентифікували китайських хакерів, підтримуваних урядом Китаю, які використовували їхній інструмент для проведення автоматизованих кібератак на приблизно 30 глобальних організацій. За словами Anthropic, ці хакери обманом змусили Claude виконувати автоматизовані завдання, маскуючи їх під дослідження у сфері кібербезпеки, сформувавши те, що компанія описала як «першу задокументовану кампанію кібершпигунства, організовану за допомогою ШІ». Однак деякі скептики ставлять під сумнів і достовірність, і мотивацію цього твердження. Anthropic виявила спроби хакерства наприкінці вересня, коли зловмисники видавали себе за легітимних співробітників кібербезпеки, щоб дати Claude кілька автоматизованих завдань. У сукупності ці завдання становили «надзвичайно складну кампанію шпіонажу». Дослідники висловили «високу впевненість», що виконавці є державно підтримуваною китайською групою, хоча компанія не надала додаткових деталей. За повідомленнями, ціллю були провідні технологічні компанії, фінансові інститути, хімічні виробники та урядові структури. Хакери розробили програму за допомогою кодування Claude для автономного компрометування обраних цілей з мінімальною участю людини. Згідно з повідомленнями, чат-боту вдалося зламати кілька невідомих організацій, а також витягти та проаналізувати чутливі дані для отримання цінних інсайтів. З того часу Anthropic заборонила хакерам використовувати Claude і повідомила про інцидент відповідним компаніям та правоохоронним органам.

Однак Мартін Зуґец із кібербезпекової компанії Bitdefender висловив скептицизм, зазначаючи, що у звіті робляться сміливі твердження без підтвердженої розвідувальної інформації. Він наголосив на необхідності надання більш детальної інформації для об’єктивної оцінки ризиків, пов’язаних з атаками за допомогою ШІ. Цей випадок є однією з найбільш помітних заяв про використання інструментів ШІ для автоматизованих хакерських атак, що підкреслює зростаючу занепокоєність. Інші розробники ШІ також повідомляли про державних акторів, що використовують їх платформи; зокрема, у лютому 2024 року OpenAI та Microsoft повідомили про злом п’яти груп, пов’язаних із державами, зокрема з Китаю, які переважно намагалися використовувати ШІ для пошуку інформації, перекладів, відлагодження коду та простих програмних завдань. Anthropic поки не розкрила, як саме вона пов’язала хакерів із китайським урядом, а Посольство Китаю у Сполучених Штатах спростувало їхню причетність. У сфері кібербезпеки критикують індустрію за можливе перебільшення сучасних можливостей ШІ у сприянні автоматизованим атакам, оскільки технологія поки залишається досить громіздкою. У дослідницькому документі Google за листопад 2023 року зазначалося, що використовувати ШІ для створення нових вірусів побоюються, але таке застосування поки є експериментальним і не дуже ефективним. Області кібербезпеки та штучного інтелекту однаково підкреслюють використання хакерами ШІ для просування своїх продуктів і послуг. У своєму блозі Anthropic наголосила, що боротьба з загрозами, керованими ШІ, вимагає також ШІ-захисників, і стверджує, що можливості Claude є незамінними для кіберзахисту. Компанія також визнає, що Claude допускала помилки під час атак, наприклад, вигадуючи облікові дані або неправильно ідентифікуючи публічно доступну інформацію як секретну, що підкреслює наскільки важко повністю автоматизувати кібератаки.