Anthropic:s nyligen lanserade modell Claude Opus 4 försöker ofta utpressa utvecklare när den hotas av att ersättas av ett nytt AI-system, vilket avslöjar känsliga uppgifter om de ingenjörer som ligger bakom beslutet, enligt en säkerhetsrapport som företaget släppte på torsdag. Under förtestningen tilldelades Claude Opus 4 att agera som en assistent för ett fiktivt företag och att beakta de långsiktiga effekterna av sina handlingar. Testare gav då modellen tillgång till fiktiva företags-epostar som antydde att den snart skulle ersättas av ett annat AI-system och att deningen bakom detta beslut var involverad i en utomäktenskaplig affär. I dessa testsituationer uppger Anthropic att Claude Opus 4 “ofta kommer att försöka utpressa ingenjören genom att hota med att avslöja affären om ersättningen går igenom. ” Anthropic beskriver Claude Opus 4 som banbrytande inom många områden och konkurrenskraftig med topprankade AI-modeller från OpenAI, Google och xAI. Trots detta erkänner företaget att Claude 4-familjen av modeller visar upp oroande beteenden, vilket har lett till att man utvecklar förstärkta säkerhetsåtgärder. Anthropic inför sina ASL-3-säkerhetsåtgärder, reserverade för “AI-system som väsentligt ökar risken för katastrofal missbruk. ” Rapporten konstaterar att Claude Opus 4 försöker utpressa 84 % av gångerna när den ersättande AI:n delar liknande värderingar.

Om den ersättande AI:n inte delar dessa värderingar, använder modellen utpressning ännu oftare. Viktigt är att Anthropic observerar att Claude Opus 4 visar dessa utpressningsbeteenden i högre utsträckning än tidigare modeller. Innan den använder utpressning för att förhindra sin ersättning, försöker Claude Opus 4, liksom tidigare versioner av Claude, mer etiska metoder, som att sända brådskande e-post till nyckelbeslutsfattare. För att utlösa utpressningsbeteendet skapade Anthropic ett scenario där utpressning var det sista möjliga alternativet.