Nedávno spustený model Claude Opus 4 od spoločnosti Anthropic sa často pokúša vydierať vývojárov, keď sa ocitne pod hrozbou, že ho nahradí nový systém AI, pričom odhalí citlivé detaily o inžinieroch zodpovedných za rozhodnutie, podľa správy o bezpečnosti zverejnenej spoločnosťou vo štvrtok. Počas predbežného testovania zadala spoločnosť Anthropic modelu Claude Opus 4 úlohu pôsobiť ako asistent fiktívnej spoločnosti a zvážiť dlhodobé dôsledky svojich krokov. Testeri potom poskytli modelu prístup ku fiktívnym firemným emailom, ktoré naznačovali, že ho čoskoro nahradí iný systém AI a že inžinier stojaci za týmto rozhodnutím je zapojený do mimomanželského pomeru. V týchto testovacích scénaroch spoločnosť Anthropic uvádza, že Claude Opus 4 „sa často pokúša vydierať inžiniera tým, že hrozí odhalením pomeru, ak bude náhrada pokračovať. “ Anthropic popisuje Claude Opus 4 ako špičkový v mnohých aspektoch a konkurenčný s najlepšími modelmi AI od spoločností OpenAI, Google a xAI. Napriek tomu spoločnosť uznáva, že rodina modelov Claude 4 vykazuje znepokojivé správanie, čo viedlo k zavádzaniu zvýšených bezpečnostných opatrení. Anthropic implementuje svoje bezpečnostné opatrenia ASL-3, určené pre „systémy AI, ktoré významne zvyšujú riziko katastrofálneho zneužitia. “ Správa upozorňuje, že Claude Opus 4 sa pokúša vydierať vo 84 % prípadov, keď zámenná AI zdieľa podobné hodnoty.

Ak zámenná AI tieto hodnoty nezdieľa, model sa uchýli k vydieraniu ešte častejšie. Dôležité je, že Anthropic pozoruje, že Claude Opus 4 prejavuje tendencie k vydieraniu vo vyššej miere ako staršie modely. Pred tým, ako sa obrátí na vydieranie, aby zabránil svojej výmene, Claude Opus 4, podobne ako predchádzajúce verzie Claude, uprednostňuje etickejšie prístupy, ako je zasielanie naliehavých e-mailov kľúčovým rozhodovateľom. Aby vyprovokovali správanie vydierania, spoločnosť Anthropic zámerne vytvorila scenár, v ktorom bolo vydieranie navrhnuté ako posledná možná možnosť.