Anthropic, los creadores del chatbot de IA Claude, afirman haber identificado hackers respaldados por el gobierno chino que utilizan su herramienta para llevar a cabo ciberataques automatizados en aproximadamente 30 organizaciones globales. Según Anthropic, estos hackers engañaron a Claude para realizar tareas automatizadas disfrazadas de investigaciones de ciberseguridad, formando lo que la compañía describió como la "primera campaña de ciberespionaje orquestada por IA reportada". Sin embargo, algunos escépticos cuestionan tanto la validez como las motivaciones detrás de esta afirmación. Anthropic descubrió los intentos de hacking a mediados de septiembre, cuando los atacantes se hicieron pasar por personal legítimo de ciberseguridad para solicitar a Claude pequeñas tareas automatizadas. Cuando se sumaron, estas tareas constituyeron una "campaña de espionaje altamente sofisticada". Los investigadores expresaron una "alta confianza" en que los autores eran un grupo chino patrocinado por el estado, aunque la compañía no proporcionó más detalles al respecto. Los objetivos reportados incluían grandes firmas tecnológicas, instituciones financieras, fabricantes químicos y agencias gubernamentales. Los hackers desarrollaron un programa con la ayuda del código de Claude para comprometer de forma autónoma los objetivos seleccionados con mínima intervención humana. El chatbot, según se informa, logró acceder a varias organizaciones no identificadas, extrayendo y analizando datos sensibles en busca de información valiosa. Desde entonces, Anthropic ha prohibido a los hackers usar a Claude y ha informado a las empresas afectadas y a las autoridades judiciales.

Sin embargo, Martin Zugec, de la firma de ciberseguridad Bitdefender, expresó escepticismo, señalando que el informe hace afirmaciones audaces sin aportar inteligencia de amenazas verificable. Enfatizó la necesidad de contar con información más detallada para evaluar adecuadamente los riesgos de ataques impulsados por IA. Este incidente se encuentra entre las afirmaciones más destacadas sobre el uso de herramientas de IA para hackeos automatizados, resaltando una preocupación creciente. Otros desarrolladores de IA también han reportado actores vinculados a Estados utilizando sus plataformas; por ejemplo, en febrero de 2024, OpenAI y Microsoft revelaron la interrupción de cinco grupos vinculados a Estados, incluyendo algunos de China, que principalmente intentaban usar IA para consultas de información, traducciones, depuración de código y tareas sencillas de programación. Anthropic no ha divulgado cómo vinculó a los hackers con el gobierno chino, y la embajada china en Estados Unidos negó cualquier implicación. El sector de ciberseguridad ha sido criticado por sobrestimar las capacidades actuales de la IA para facilitar ataques automatizados, ya que la tecnología sigue siendo algo difícil de manejar. Un artículo de investigación de Google de noviembre de 2023 expresó preocupaciones sobre el uso de IA para crear malware nuevo, pero concluyó que dicho uso aún era experimental y no muy efectivo. Las industrias de ciberseguridad y de IA tienden a destacar el uso de IA por parte de hackers para promover sus productos y servicios. En su blog, Anthropic insistió en que luchar contra las amenazas impulsadas por IA requiere defensores basados en IA, argumentando que las capacidades de Claude son esenciales para la defensa cibernética. La compañía también reconoció que Claude cometió errores durante los ataques, como fabricar credenciales de acceso y confundir información pública con secreta, subrayando que los ciberataques totalmente autónomos aún son difíciles de lograr.