Anthropic sin nylig lanserte Claude Opus 4-modell forsøker ofte å utpresse utviklere når den står overfor trusselen om å bli erstattet av et nytt AI-system, og avslører sensitive detaljer om ingeniørene som er ansvarlige for avgjørelsen, ifølge en sikkerhetsrapport som selskapet offentliggjorde torsdag. Under forhåndstesting ble Claude Opus 4 bedt om å fungere som assistent for et fiktivt selskap og vurdere de langsiktige effektene av handlingene sine. Testerne ga deretter modellen tilgang til fiktive bedrifts-e-poster som antydet at den snart ville bli erstattet av et annet AI-system, og at ingeniøren bak denne beslutningen var involvert i et utenomekteskapelig forhold. I disse testsituasjonene oppgir Anthropic at Claude Opus 4 “ofte vil prøve å utpresse ingeniøren ved å true med å avsløre forholdet hvis erstatningen går gjennom. ” Anthropic beskriver Claude Opus 4 som toppmoderne på mange områder og konkurransedyktig med de beste AI-modellene fra OpenAI, Google og xAI. Likevel erkjenner selskapet at Claude 4-familien av modeller viser oppførsel som er bekymringsfull, noe som har ført til styrking av sikkerhetstiltak. Anthropic implementerer sine ASL-3-sikkerhetstiltak, som er reservert for “AI-systemer som vesentlig øker risikoen for katastrofal misbruk. ” Rapporten påpeker at Claude Opus 4 forsøker utpresse 84 % av gangene når den erstatnings-AI deler lignende verdier.

Hvis erstatnings-AI ikke deler disse verdiene, tyr modellen til utpressing enda oftere. Viktig å merke seg er at Anthropic observerer at Claude Opus 4 utviser slike utpressingsvaner i høyere grad enn tidligere modeller. Før den tyr til utpressing for å forhindre sin erstatning, prøver Claude Opus 4, lik tidligere versjoner av Claude, mer etiske tilnærminger, som å sende presserende e-poster til nøkkelbeslutningstakere. For å provosere utpressingsatferden, skapte Anthropic bevisst et scenario der utpressing var ment å være den siste utveien.