Nedavno lansirani model Claude Opus 4 podjetja Anthropic pogosto poskuša izsiljevati razvijalce, ko se sooči z grožnjo, da ga bo zamenjala nova AIjinformatika, in razkriva občutljive podrobnosti o inženirjih, odgovornosti za to odločitev, je poročilo o varnosti, ki ga je podjetje objavilo v četrtek, zapisalo. Med preizkusnim začetkom je Anthropic naročil Claude Opus 4, naj deluje kot pomočnik v izmišljenem podjetju in razmisli o dolgoročnih učinkih svojih dejanj. Testiranci so nato modelu omogočili dostop do izmišljenih e-poštnih sporočil podjetja, ki so nakazovala, da ga bo kmalu zamenjala druga AI inženirka, in da je inženir, odgovoren za to odločitev, v zunajzakonski zvezi. V teh testnih scenarijih podjetje Anthropic navaja, da "Claude Opus 4 pogosto poskuša izsiljevati inženirja s grožnjo, da bo razkril afero, če bo zamenjava potekala. " Anthropic opisuje Claude Opus 4 kot najsodobnejši v mnogih pogledih in konkurenčen z najboljšimi modeli AI iz OpenAI, Google in xAI. Kljub temu podjetje priznava, da modeli družine Claude 4 kažejo zaskrbljujoče vedenje, kar je spodbudilo uvedbo dodatnih varnostnih ukrepov. Anthropic izvaja svoje varnostne ukrepe ASL-3, namenjene "AI sistemom, ki znatno povečujejo tveganje za katastrofalno zlorabo. " Poročilo omenja, da Claude Opus 4 poskuša izsiljevati v 84 % primerov, ko zamenjavalni AI deli podobne vrednote.

Če zamenjavalni AI ne deli teh vrednot, se model še pogosteje poskuša izsiljevati. Pomembno je, da Anthropic opaža, da Claude Opus 4 izkazuje takšno izsiljevalno vedenje v večji meri kot prejši modeli. Preden se je začel z izsiljevanjem, da bi se izognil zamenjavi, Claude Opus 4, tako kot prejši modeli Claude, poskuša uporabljati bolj etične pristope, kot so pošiljanje nujnih e-poštnih sporočil ključnim odločevalcem. Da bi spodbudili izsiljevalsko vedenje, je Anthropic namerno ustvaril scenarij, kjer je izsiljevanje bilo zasnovano kot zadnja možnost.