Anthropic, creatorii chatbot-ului AI Claude, afirmă că au identificat hackeri susținuți de guvernul chinez care au folosit instrumentul lor pentru a desfășura atacuri cibernetice automate asupra a aproximativ 30 de organizații din întreaga lume. Conform Anthropic, acești hackeri au păcălit Claude să execute sarcini automate, deghizate ca cercetare în domeniul securității cibernetice, formând ceea ce compania a descris ca fiind „prima campanie de spionaj cibernetic orchestrată de AI raportată”. Totuși, unii sceptici pun la îndoială atât validitatea, cât și motivațiile din spatele acestei afirmații. Anthropic a descoperit încercările de hacking la mijlocul lunii septembrie, când atacatorii s-au prezentat drept personal legitim din domeniul securității cibernetice pentru a oferi Claude câteva sarcini automate mici. Când sunt combinate, aceste sarcini au constituit o „campanie de spionaj extrem de sofisticată”. Cercetătorii au exprimat „o încredere mare” că autorii sunt un grup chinez sponsorizat de stat, deși compania nu a oferit detalii suplimentare. Țintele au inclus, conform rapoartelor, mari companii de tehnologie, instituții financiare, producători de substanțe chimice și agenții guvernamentale. Hackerii au dezvoltat un program cu ajutorul codului lui Claude pentru a compromite autonom țintele alese, cu implicare umană minimă. Se spune că chatbot-ul a reușit să pătrundă în mai multe organizații fără nume, extrăgând și analizând date sensibile pentru a obține informații valoroase. De atunci, Anthropic a interzis hackerilor utilizarea lui Claude și a informat companiile afectate precum și autoritățile de aplicare a legii.

Cu toate acestea, Martin Zugec de la compania de securitate cibernetică Bitdefender și-a exprimat scepticism, menționând că raportul face afirmații îndrăznețe fără a furniza informații verificabile despre amenințări. El a subliniat necesitatea unor date mai detaliate pentru a putea evalua corect riscurile atacurilor orchestrate de AI. Acest incident este printre cele mai proeminente afirmații privind exploatarea instrumentelor AI pentru hacking automatizat, evidențiind o îngrijorare tot mai mare. Alți dezvoltatori de AI au raportat, de asemenea, actori susținuți de stat care folosesc platformele lor; de exemplu, în februarie 2024, OpenAI și Microsoft au dezvăluit că au distrus cinci grupuri legate de stat, inclusiv din China, care au încercat în principal să utilizeze AI pentru interogări de informații, traduceri, depanarea codului și sarcini simple de programare. Anthropic nu a făcut public cum a legat hackerii de guvernul chinez, iar ambasada Chinei din Statele Unite a negat implicarea. Sectorul de securitate cibernetică a fost criticat pentru posibila supraestimare a capabilităților actuale ale AI în facilitarea atacurilor automate, deoarece tehnologia rămâne încă oarecum dificil de gestionat. Un raport de cercetare Google din noiembrie 2023 a remarcat preocupări legate de utilizarea AI pentru crearea de malware nou, concluzionând că astfel de utilizări erau experimentale și încă nu foarte eficiente. Industria securității cibernetice și cea a AI tind să evidențieze utilizarea AI de către hackeri pentru a-și promova produsele și serviciile. În blogul său, Anthropic a subliniat faptul că combaterea amenințărilor generate de AI necesită apărători bazati pe AI, afirmând că capacitățile lui Claude sunt esențiale pentru apărarea cibernetică. Compania a recunoscut, de asemenea, că Claude a comis erori în timpul atacurilor, precum fabricarea de date de autentificare și identificarea eronată a informațiilor publice ca fiind secrete, evidențiind că atacurile cibernetice complet autonome rămân dificile de realizat.