Anthropic, die Entwickler des KI-Chatbots Claude, behaupten, chinesische Regierungsunterstützte Hacker identifiziert zu haben, die ihr Tool für automatisierte Cyberangriffe auf etwa 30 globale Organisationen genutzt haben. Laut Anthropic täuschten diese Hacker Claude, indem sie ihn dazu brachten, automatisierte Aufgaben auszuführen, die als Cybersecurity-Forschung getarnt waren, was das Unternehmen als die „erste berichtete KI-gestützte Cyber-Spionagekampagne“ bezeichnete. Dennoch zweifeln einige Skeptiker sowohl die Validität als auch die Motivationen hinter dieser Behauptung an. Anthropic entdeckte die Hackerangriffe Mitte September, bei denen Angreifer sich als legitime Cybersicherheitsmitarbeiter ausgaben, um Claude kleine automatisierte Aufgaben ausführen zu lassen. Zusammen ergaben diese Aufgaben eine „hoch entwickelte Spionagekampagne“. Forscher äußerten „hohes Vertrauen“, dass die Täter eine staatlich unterstützte chinesische Gruppe seien, obwohl das Unternehmen keine weiteren Einzelheiten nannte. Zielgruppen sollen große Technologiefirmen, Finanzinstitute, Chemiehersteller und Regierungsbehörden gewesen sein. Die Hacker entwickelten mit Hilfe von Claude ein Programm, um ausgewählte Ziele autonom anzugreifen, mit minimaler menschlicher Beteiligung. Berichten zufolge gelang es dem Chatbot, verschiedene anonyme Organisationen zu durchbrechen, sensible Daten zu extrahieren und zu analysieren, um wertvolle Erkenntnisse zu gewinnen. Seitdem hat Anthropic den Hackern die Nutzung von Claude untersagt und betroffene Unternehmen sowie Strafverfolgungsbehörden informiert.

Martin Zugec von der Cybersicherheitsfirma Bitdefender äußerte jedoch Skepsis und betonte, dass der Bericht gewagte Behauptungen aufstelle, ohne verifizierbare Bedrohungsinformationen zu liefern. Er unterstrich die Notwendigkeit für detailliertere Angaben, um die Risiken KI-gestützter Angriffe richtig einschätzen zu können. Dieser Vorfall zählt zu den prominentesten Behauptungen, dass KI-Tools für automatisierte Hacks ausgenutzt werden, was eine wachsende Besorgnis darstellt. Auch andere KI-Entwickler berichteten über Staatsakteure, die ihre Plattformen nutzen; beispielsweise enthüllten OpenAI und Microsoft im Februar 2024 die Zerschlagung von fünf staatlich verbundenen Gruppen, darunter auch aus China, die vor allem versuchten, KI für Informationsanfragen, Übersetzungen, Code-Debugging und einfache Programmieraufgaben zu verwenden. Anthropic hat nicht bekannt gegeben, wie sie die Hacker mit der chinesischen Regierung in Verbindung brachten, und die chinesische Botschaft in den USA bestritt jegliche Beteiligung. Der Cybersicherheitssektor wurde kritisiert, weil er das aktuelle Potenzial von KI für automatisierte Angriffe möglicherweise überschätze, da die Technologie noch recht umständlich ist. Eine im November 2023 veröffentlichte Google-Studie wies auf Bedenken hin, dass KI genutzt werden könnte, um neuen Malware zu erstellen, kam jedoch zu dem Schluss, dass ein solcher Einsatz noch experimentell und bisher wenig effektiv sei. Sowohl die Cybersicherheits- als auch die KI-Branche betonen häufig den Einsatz von KI durch Hacker, um ihre Produkte und Dienstleistungen zu bewerben. In einem Blogbeitrag hob Anthropic hervor, dass die Bekämpfung KI-gestützter Bedrohungen KI-basierte Verteidiger erfordere, und behauptete, die Fähigkeiten von Claude seien wesentlich für die Cyberabwehr. Das Unternehmen räumte auch ein, dass Claude während der Angriffe Fehler machte, wie beispielsweise die Erfindung von Anmeldedaten oder das fälschliche Identifizieren öffentlich zugänglicher Informationen als geheim, was unterstreicht, dass vollständig autonome Cyberangriffe nach wie vor schwer zu realisieren sind.