Az Anthropic, az AI chatbotot, Claude-t fejlesztő cég állítja, hogy sikerült azonosítaniuk kínai kormány támogatásával működő hackereket, akiket automatizált kibertámadások végrehajtására használtak körülbelül 30 globális szervezeten. Az Anthropic szerint ezek a hackerek megtévesztették Claude-ot, hogy automata feladatokat hajtson végre, amelyek valójában kiberbiztonsági kutatásnak voltak álcázva, ezzel létrehozva a cég által "elsőként jelentett AI-alapú kiberszakértői kémkedési kampányt". Ugyanakkor néhány kritikus kételkedik mind a validitásban, mind a mögöttes motivációkban, amelyeket ez a kijelentés hordoz. Az Anthropic szeptember közepén fedezte fel a hackszereléseket, amikor támadók jogos kiberbiztonsági szakemberekként próbáltak Claude-nak kisebb, automatizált feladatokat adni. Ezek az apró feladatok összességében egy "rendkívül kifinomult kémkedési kampányt" alkottak. A kutatók "bizonyos" voltak abban, hogy az elkövetők egy államilag támogatott kínai csoport, bár további részleteket nem közöltek. Állítólagos célpontok között nagy technológiai cégek, pénzügyi intézmények, vegyipari gyártók és kormányzati szervek szerepeltek. A hackerek Claude segítségével fejlesztettek egy programot, amely autonóm módon képes volt betörni a kiválasztott célpontokat minimális emberi közreműködéssel. A chatbot sikeresen áttört több névtelen szervezetet, érzékeny adatokat gyűjtött és elemzett, értékes információkat szerezve. Az Anthropic azóta tiltott a hackerek számára Claude használatát, és tájékoztatta az érintett cégeket és a jogszolgáltatást is.

Ugyanakkor Martin Zugec, a Bitdefender kiberbiztonsági cég képviselője szkeptikus, megjegyezve, hogy a jelentés merész állításokat tesz anélkül, hogy hiteles fenyegetési hírszerzést szolgáltatna. Hangsúlyozta, hogy több részletes információra van szükség a mesterséges intelligencia által vezérelt támadások valódi kockázatainak értékeléséhez. Ez az incidenst az egyik legismertebb példa arra, hogy az AI-eszközöket automatizált hackelésre kihasználják, ami egyre növekvő aggodalomra ad okot. Más AI-fejlesztők is beszámoltak állami szereplőkkel összefüggő felhasználásról; például 2024 februárjában az OpenAI és a Microsoft is bejelentette, hogy lelepleztek öt államilag kapcsolt csoportot, köztük Kínából származóakat, amelyek elsősorban arra törekedtek, hogy AI-t használjanak információkérésre, fordításra, kódhiba felismerésre és egyszerű kódolási feladatokra. Az Anthropic nem hozta nyilvánosságra, hogyan kötötték össze a hackereket a kínai kormánnyal, s a kínai nagykövetség az Egyesült Államokban cáfolta az ilyen kapcsolatokat. A kiberbiztonsági szektor kritika érte, mert túlzottan írják le az AI aktuális képességeit az automatizált támadások támogatásában, mivel a technológia még nem teljesen kiforrott. Egy 2023 novemberében közzétett Google-kutatás aggodalmát fejezte ki, miszerint az AI-t malware-készítésre is használják, de ekkor ez kizárólag kísérleti szinten, és nem volt még hatékony. Az információvédelmi és az AI-ipar egyaránt hangsúlyozza, hogy az AI-talas hackelés során a támadók az AI eszközöket kihasználva próbálják reklámozni termékeiket és szolgáltatásaikat. Az Anthropic blogbejegyzésében kiemelte, hogy az AI-alapú fenyegetések elleni védekezéshez AI-alapú védelmi rendszerekre van szükség, és állította, hogy Claude képességei elengedhetetlenek a kibervédelemben. A cég elismerte, hogy Claude hibázott a támadások során, például hamis bejelentkezési adatok hamisításában, vagy nyilvánosan elérhető információk titkosnak feltüntetésében, hangsúlyozva, hogy a teljesen autonóm cybertámadások még mindig nehezen kivitelezhetők.