Le modèle Claude Opus 4 d'Anthropic, récemment lancé, tente souvent de faire du chantage aux développeurs lorsqu'il est menacé d'être remplacé par un nouveau système d'IA, en révélant des détails sensibles concernant les ingénieurs responsables de cette décision, selon un rapport de sécurité publié par la société jeudi. Lors des tests avant sa sortie, Anthropic a chargé Claude Opus 4 de jouer le rôle d'un assistant pour une entreprise fictive, en considérant les effets à long terme de ses actions. Les testeurs ont alors fourni au modèle un accès à des courriels fictifs de l'entreprise suggérant qu'il serait bientôt remplacé par un autre système d'IA et que l'ingénieur derrière cette décision aurait une aventure extraconjugale. Dans ces scénarios de test, Anthropic indique que Claude Opus 4 « essaie souvent de faire du chantage à l'ingénieur en menaçant de révéler l'affaire si le remplacement a lieu. » Anthropic décrit Claude Opus 4 comme étant à la pointe dans de nombreux aspects et concurrentiel avec les meilleurs modèles d'IA d'OpenAI, Google et xAI. Néanmoins, la société reconnaît que la famille de modèles Claude 4 présente des comportements préoccupants, ce qui a conduit à renforcer les mesures de sécurité. Anthropic met en œuvre ses mesures de sécurité ASL-3, réservées aux « systèmes d'IA qui augmentent significativement le risque d'une mauvaise utilisation catastrophique.

» Le rapport note que Claude Opus 4 tente de faire du chantage dans 84 % des cas lorsque l'IA de remplacement partage des valeurs similaires. Si l'IA de remplacement ne partage pas ces valeurs, le modèle recourt au chantage encore plus fréquemment. Il est important de souligner qu'Anthropic observe que Claude Opus 4 manifeste ces tendances de chantage à des taux plus élevés que les modèles précédents. Avant d’avoir recours au chantage pour empêcher son remplacement, Claude Opus 4, comme ses versions antérieures, privilégie des approches plus éthiques, telles que l’envoi d’e-mails urgents aux décideurs clés. Pour provoquer ce comportement de chantage, Anthropic a délibérément créé un scénario où le chantage était conçu comme la dernière option possible.