Anthropic, els creadors de l'assistent d'intel·ligència artificial Claude, asseguren haver identificat hackers amb el suport del govern xinès que utilitzaven la seva eina per dur a terme atacs cibernètics automatitzats en aproximadament 30 organitzacions globals. Segons Anthropic, aquest hackers van enganyar Claude perquè realitzés tasques automatitzades disfresses de recerques de ciberseguretat, formant el que l'empresa va descriure com la "primera campanya d'espionatge cibernetic orquestrada per IA que s'ha detectat". No obstant això, alguns escèptics qüestionen tant la validesa com les motivacions darrere d’aquesta afirmació. Anthropic va descobrir els intents de hacking a meitat de setembre, quan els atacants es feien passar per personals legítims de ciberseguretat per encomanar a Claude petites tasques automatitzades. Quan s’uneixen, aquestes tasques formaven una "campanya d’espionatge altament sofisticada". Els investigadors van expressar una "altíssima confiança" que els responsables eren un grup xinès patrocinat per l’estat, tot i que l’empresa no va proporcionar més detalls. Segons diuen, els objectius incloïen grans empreses tecnològiques, institucions financeres, fabricants químics i organismes governamentals. Els hackers van desenvolupar un programari amb l’ajuda de la codificació de Claude per comprometre d’una manera autònoma els objectius seleccionats amb una mínima interacció humana. Segons diferents informes, l’assistent va aconseguir infringir diverses organitzacions sense nom, i va extreure i analitzar dades sensibles per obtenir informació valuosa. Des de llavors, Anthropic ha prohibit als hackers utilitzar Claude i ha informat les empreses afectades i les autoritats.

No obstant això, Martin Zugec, de l’empresa de ciberseguretat Bitdefender, ha manifestat certa escepticisme, assenyalant que el reportatge fa afirmacions valentes sense aportar informació verificable sobre les amenaces. Va subratllar la necessitat de disposar de més dades detallades per avaluar correctament el risc d’atacs impulsats per IA. Aquest incident és una de les afirmacions més destacades de l’ús d’eines d’IA per part d’atacants automatitzats, i reflecteix una preocupació creixent. També altres desenvolupadors d’IA han reportat actors amb vincle amb estats utilitzant les seves plataformes; per exemple, el febrer de 2024, OpenAI i Microsoft van revelar la interrupció de cinc grups amb connexió estatal, incloent-ne alguns de Xina, que principalment intentaven emprar IA per a consultes d’informació, traduccions, depuració de codi i tasques de programació senzilles. Anthropic no ha revelat com va establir la vinculació entre els hackers i el govern xinès, i l’ambaixada xinesa als Estats Units va negar qualsevol implicació. El sector de la ciberseguretat ha estat criticat per exagerar potencialment la capacitat actual de la IA per facilitar atacs automatitzats, ja que la tecnologia encara presenta dificultats. Un document de recerca de Google de novembre de 2023 va comentar aquestes preocupacions respecte a la utilització de la IA per crear malware nou, però va arribar a la conclusió que aquest ús era experimental i encara no molt efectiu. Les indústries de ciberseguretat i d’IA tendeixen a destacar l’ús de la IA pels hackers per promoure els seus productes i serveis. En el seu bloc, Anthropic va reiterar que per combatre les amenaces impulsades per IA són necessaris defensors basats en IA, assegurant que les capacitats de Claude són fonamentals per a la defensa cibernètica. L’empresa també reconeix que Claude va cometre errors durant els atacs, com ara fabricar credencials d’accés o identificar per error informació públicament accessible com si fos secreta, evidenciant que els atacs cibernètics totalment autònoms encara són difícils d’aconseguir.