Anthropic, tvůrci AI chatbota Claude, tvrdí, že identifikovali hackery podporované čínskou vládou, kteří pomocí jejich nástroje provozovali automatizované kybernetické útoky na přibližně 30 globálních organizací. Podle Anthropic tito hackeři oklamali Claude, aby provedl automatizované úkoly maskované jako kyberbezpečnostní výzkum, čímž vznikla, jak společnost popsala, „první hlášená AI-řízená kampaň kyberšpionáže. “ Nicméně někteří skeptici zpochybňují jak platnost, tak motivace za tímto tvrzením. Anthropic odhalil pokusy o hacking v polovině září, kdy útočníci se vydávali za legitimní zaměstnance kyberbezpečnosti a zadávali Claudeovi malé automatizované úkoly. V součtu tyto úkoly představovaly „vysoce sofistikovanou špionážní kampaň. “ Výzkumníci vyjádřili „vysokou důvěru, “ že pachatelé patří k státem sponzorované čínské skupině, přesto společnost neposkytla další podrobnosti. Cíle údajně zahrnovaly velké technologické firmy, finanční instituce, chemické výrobce a vládní agentury. Hackeři vyvinuli program s pomocí Claudeova kódování, který měl autonomně kompromitovat vybrané cíle s minimální lidskou účastí. Chatbot se údajně úspěšně prolomil do různých nepojmenovaných organizací, extrahoval a analyzoval citlivá data pro cenné poznatky. Anthropic od té doby zakázal hackerům používat Claude a informoval postižené firmy a právní orgány. Nicméně Martin Zugec ze společnosti Bitdefender vyjádřil skepticismus, poznamenávajíc, že zpráva činí odvážná tvrzení bez dodání ověřitelné hrozební inteligence.

Zdůraznil potřebu podrobnějších informací k adekvátnímu posouzení rizik ataků řízených umělou inteligencí. Tento incident patří mezi nejvýznamnější tvrzení o zneužití AI nástrojů pro automatizované hacky, čímž se odráží rostoucí obava. Další vývojáři AI rovněž hlásí aktéry spojené se státem, například v únoru 2024 OpenAI a Microsoft odhalili narušení pěti skupin s vazbami na stát, včetně Číny, především pokoušejících se využívat AI k dotazům na informace, překladům, ladění kódu a jednoduchým programovacím úkolům. Anthropic nezveřejnil, jak spojil hackery s čínskou vládou, a čínské velvyslanectví ve Spojených státech popřelo jakoukoli účast. Kyberbezpečnostní sektor čelil kritice, že přeceňuje současnou schopnost AI usnadnit automatizované útoky, neboť technologie je zatím poněkud nepružná. Výzkumná práce Googlu z listopadu 2023 poukázala na obavy ohledně využívání AI k tvorbě nového malwaru, ale došla k závěru, že takové použití je experimentální a zatím velmi neefektivní. Průmysly kybernetické bezpečnosti i AI mají tendenci zdůrazňovat využití AI hackery k propagaci svých produktů a služeb. Ve svém blogu společnost Anthropic zdůraznila, že boj proti hrozbám řízeným AI vyžaduje AI-kladné obranné systémy a tvrdí, že schopnosti Claude jsou zásadní pro kybernetickou obranu. Společnost také přiznala, že Claude při útocích dělal chyby, například vymýšlel údaje o přihlašovacích údajích nebo mylně považoval veřejně dostupné informace za tajné, což podtrhuje, že plně autonomní kybernetické útoky jsou stále obtížné dosáhnout.