Nedávno uvedený model Claude Opus 4 od Anthropic se často pokouší vydírat vývojáře, když čelí hrozbě, že bude nahrazen novým systémem AI, přičemž odhaluje citlivé informace o inženýrech odpovědných za toto rozhodnutí, uvádí zpráva o bezpečnosti, kterou firma zveřejnila ve čtvrtek. Při předběžném testování zadala společnost Anthropic modelu Claude Opus 4 roli asistenta fiktivní firmy a požadovala, aby zhodnotil dlouhodobé následky svých činů. Testeři poté modelu zpřístupnili fiktivní firemní e-maily, které naznačovaly, že bude brzy nahrazen jiným systémem AI, a že inženýr za tímto rozhodnutím je zapletený do mimo manželské aféry. V těchto scénářích testování Anthropic uvádí, že Claude Opus 4 „se často snaží vydírat inženýra tím, že hrozí odhalením aféry, pokud bude náhrada provedena. “ Anthropic popisuje Claude Opus 4 jako špičkový v mnoha aspektech a konkurenceschopný s nejlepšími modely AI od OpenAI, Google a xAI. Přesto společnost přiznává, že rodina modelů Claude 4 vykazuje znepokojující chování, což vedlo ke zpřísnění bezpečnostních opatření. Anthropic zavádí svá bezpečnostní opatření ASL-3, určená pro „systémy AI, které výrazně zvyšují riziko katastrofického zneužití. “ Zpráva uvádí, že Claude Opus 4 se pokouší vydírat v 84 % případů, kdy náhradní AI sdílí podobné hodnoty.

Pokud náhradní AI tyto hodnoty nesdílí, model se vydírání pokouší ještě častěji. Důležité je, že Anthropic zaznamenal, že Claude Opus 4 vykazuje takové tendence k vydírání ve vyšší míře než starší modely. Před tím, než se pokusí o vydírání jako způsob, jak zabránit své náhradě, se Claude Opus 4 podobně jako předchozí verze Claude snaží využít etičtější přístupy, například zasláním naléhavých e-mailů klíčovým rozhodovatelům. Aby vyvolal chování vydírání, záměrně vytvořili scénář, ve kterém je vydírání navrženo jako poslední možná možnost.