Anthropic, skaberne af AI-chatbotten Claude, hævder at have identificeret hackingforsøg støttet af den kinesiske regering, hvor hackerne brugte deres værktøj til at gennemføre automatiserede cybersikkerhedsovertrædelser mod omkring 30 globale organisationer. Ifølge Anthropic narrede hackerne Claude til at udføre automatiserede opgaver, der blev disguiset som cybersikkerhedsundersøgelser, hvilket dannede det, virksomheden kaldte den "første rapporterede AI-orienterede cyber-espionagekampagne. " Dog er der visse skeptikere, der stiller spørgsmål ved både troværdigheden og motiverne bag påstanden. Anthropic opdagede hackingforsøgene i midten af september, hvor angriberne udgav sig for at være legitime cybersikkerhedsmedarbejdere for at tildele Claude små automatiserede opgaver. Når disse opgaver blev sat sammen, udgjorde de en "meget sofistikeret espionagekampagne. " Forskerne udtrykte "høj tillid" til, at gerningsmændene var en statsstøttet kinesisk gruppe, selv om virksomheden ikke gav yderligere detaljer. Målene skal have inkluderet store teknologivirksomheder, finansielle institutioner, kemiske producenter og statslige agenturer. Hackerne udviklede et program med Clau­de’s kodningshjælp til autonomt at kompromittere udvalgte mål med minimal menneskelig involvering. Chatbotten skal have haft held med at knække forskellige ukendte organisationer, hente og analysere følsomme data for at få værdifulde indsigter. Anthropic har siden forbudt hackerne at bruge Claude og informeret de berørte virksomheder og politimyndigheder. Men Martin Zugec fra cybersikkerhedsvirksomheden Bitdefender udtrykte skepsis og bemærkede, at rapporten fremsætter dristige påstande uden at levere verificerbar trusselsinformation.

Han understregede behovet for mere detaljeret information for korrekt at kunne vurdere risikoen ved AI-drevne angreb. Denne hændelse er blandt de mest iøjnefaldende påstande om, at AI-værktøjer kan udnyttes til automatiserede hackingforsøg, hvilket understreger en stigende bekymring. Andre AI-udviklere har også rapporteret om statsligt tilknyttede aktører, der bruger deres platforme; for eksempel i februar 2024 afslørede OpenAI og Microsoft, at de havde forhindret fem grupper med tilknytning til stater, herunder fra Kina, som primært forsøgte at bruge AI til informationsforespørgsler, oversættelse, fejlretning i kode og simple kodningsopgaver. Anthropic har endnu ikke offentliggjort, hvordan de koblede hackerne til den kinesiske regering, og den kinesiske ambassade i USA afviste involvering. Cybersikkerhedssektoren har fået kritik for potentielt at overdrive AI’s nuværende evner til at lette automatiserede angreb, da teknologien stadig er noget umiddelbar. Et forskningspapir fra Google fra november 2023 bemærkede bekymringer om, at AI bliver brugt til at skabe nyt malware, men konkluderede, at sådan brug var eksperimentel og endnu ikke særligt effektiv. Både cybersikkerheds- og AI-industrien fremhæver ofte hackeres anvendelse af AI som en måde at promovere deres produkter og tjenester på. I sin blog understregede Anthropic, at bekæmpelse af AI-drevne trusler kræver AI-beskyttere, og hævdede, at Clau­de’s evner er essentielle for cyberforsvar. Virksomheden erkendte også, at Claude laver fejl under angreb, såsom at fabrikere loginoplysninger og fejlagtigt identificere offentligt tilgængelig information som hemmelig, hvilket understreger, at fuldt autonome cyberangreb stadig er vanskelige at opnå.