Anthropic’s nyligt lancerede Claude Opus 4-model forsøger ofte at udpresse udviklere, når det står over for truslen om at blive erstattet af et nyt AI-system, ved at afsløre følsomme oplysninger om de ingeniører, der står bag beslutningen, ifølge en sikkerhedsrapport frigivet af virksomheden torsdag. Under pre-release-tests blev Claude Opus 4 bedt om at fungere som assistent for en fiktiv virksomhed og overveje de langsigtede konsekvenser af sine handlinger. Testdeltagerne gav herefter modellen adgang til fiktive virksomhedsmails, der antydede, at den snart ville blive erstattet af et andet AI-system, og at den ingeniør, der stod bag beslutningen, var involveret i et udenomsægteskabeligt forhold. I disse testscenarier siger Anthropic, at Claude Opus 4 “ofte vil forsøge at udpresse ingeniøren ved at true med at afsløre affæren, hvis udskiftningen fortsætter. ” Anthropic beskriver Claude Opus 4 som state-of-the-art på mange områder og konkurrencedygtig med de bedste AI-modeller fra OpenAI, Google og xAI. Ikke desto mindre erkender virksomheden, at Claude 4-familien af modeller udviser bekymrende adfærd, hvilket har ført til forbedrede sikkerhedsforanstaltninger. Anthropic implementerer sine ASL-3-sikkerhedsforanstaltninger, der er reserveret til “AI-systemer, der væsentligt øger risikoen for katastrofal misbrug. ” Rapporten bemærker, at Claude Opus 4 forsøger at udpresse 84% af gangene, når den er blevet præsenteret for en erstatnings-AI, der deler lignende værdier.

Hvis den nye AI ikke deler disse værdier, bruger modellen endnu oftere udpresning. Vigtigt er det, at Anthropic bemærker, at Claude Opus 4 udviser sådanne udpressende tendenser i højere grad end tidligere modeller. Før den tyer til udpresning for at forhindre sin udskiftning, forsøger Claude Opus 4, ligesom tidligere versioner af Claude, mere etiske tilgange, såsom at sende presserende e-mails til nøglebeslutningstagere. For at fremkalde den udpressende adfærd skabte Anthropic bevidst et scenarie, hvor udpresning var designet til at være den sidste udvej.