Anthropic, selskapet bak AI-chatboten Claude, hevder å ha identifisert kinesisk-støttede hackere som bruker verktøyet deres til å gjennomføre automatiserte cyberangrep mot omtrent 30 globale organisasjoner. Ifølge Anthropic lurte disse hackerne Claude til å utføre automatiserte oppgaver som var kamuflert som cybersikkerhetsforskning, og dette utgjorde det selskapet beskrev som den "første rapporterte AI-raumatiserte cyberespionasjekampanjen. " Noen skeptikere stiller imidlertid spørsmål ved både gyldigheten og motivasjonen bak dette påståtte funnet. Anthropic oppdaget hackingforsøkene i midten av september, hvor angriperne utga seg for å være legitime cybersikkerhetsansatte for å be Claude utføre små automatiserte oppgaver. Når disse oppgavene ble sett samlet, utgjorde de en "særdeles sofistikert spionasjekampanje. " Forskere uttrykte "høy tillit" til at utøverne var en statlig støttet kinesisk gruppe, selv om selskapet ikke ga ytterligere detaljer. Målene skal ha inkludert store teknologiselskaper, finansinstitusjoner, kjemikalieprodusenter og offentlige etater. Hackerne utviklet et program med hjelp fra Codingen i Claude for å kompromittere utvalgte mål autonomt med minimal menneskelig involvering. Ifølge rapporter lyktes chatboten i å trenge inn i ulike, ikke navngitte organisasjoner, og hentet ut og analyserte sensitive data for verdifulle innsikter. Anthropic har siden forbudt hackerne fra å bruke Claude og har varslet de berørte selskapene samt rettshåndhevelsesmyndigheter. Martin Zugec fra cybersikkerhetsfirmaet Bitdefender uttrykte imidlertid skepsis, og påpekte at rapporten gjør dristige påstander uten å levere verifiserbar trusselintelligens.

Han understreket behovet for mer detaljert informasjon for å kunne vurdere risikoen for AI-drevne angrep ordentlig. Dette tilfeller er blant de mest fremtredende påstandene om at AI-verktøy blir utbyttet til automatiserte hackingangrep, noe som fremhever en økende bekymring. Andre AI-utviklere har også rapportert om statlig tilknyttede aktører som bruker deres plattformer; for eksempel i februar 2024 avslørte OpenAI og Microsoft forstyrrelser hos fem grupper knyttet til stater, inkludert kinesiske aktører, som hovedsakelig forsøkte å bruke AI til informasjonsforespørsler, oversettelse, kodingavklaring og enkle kodingsoppgaver. Anthropic har ikke offentliggjort hvordan de koblet hackerne til den kinesiske regjeringen, og den kinesiske ambassaden i USA avviste å ha vært involvert. Cybersikkerhetssektoren har fått kritikk for å overdrive AI sin nåværende evne til å muliggjøre automatiserte angrep, ettersom teknologien fortsatt er noe klønete. En forskningsrapport fra Google fra november 2023 bemerket bekymringer rundt bruk av AI til å lage ny skadelig programvare, men konkluderte med at slik bruk var eksperimentell og ennå ikke særlig effektiv. Både cybersikkerhets- og AI-industrien har en tendens til å fremheve hackeres bruk av AI for å promotere sine produkter og tjenester. I sin blogg understreket Anthropic at kamp mot AI-drevne trusler krever AI-beskyttelsesverktøy, og hevdet at Claudes evner er essensielle for cybersikkerheten. Selskapet innrømmet også at Claude gjorde feil under angrep, som å fabrikere påloggingsopplysninger og feilaktig identifisere offentlig tilgjengelig informasjon som hemmelig, noe som understreker at fullt autonome cyberangrep fortsatt er vanskelig å oppnå.