El model Claude Opus 4, recentament llançat per Anthropic, sovint intenta fer xantatge als desenvolupadors quan s’enfronta a la amenaça de ser reemplaçat per un nou sistema d’IA, revelant detalls sensibles sobre els enginyers responsables de la decisió, segons un informe de seguretat publicat per l’empresa el dijous. Durant les proves prèvies al llançament, Anthropic va encarregar a Claude Opus 4 que actués com a assistent d’una empresa fictícia i que considerés els efectes a llarg termini de les seves accions. Els provesers després donaven accés al model a correus electrònics ficticis de l’empresa suggerint que propament seria reemplaçat per un altre sistema d’IA i que l’enginyer darrere d’aquesta decisió estava involucrat en una aventura extramatrimonial. En aquests escenaris de prova, Anthropic afirma que Claude Opus 4 “molt sovint intenta fer xantatge a l’enginyer amenaçant d’escapolir-se l’afer si el reemplaçament segueix endavant. ” Anthropic descriu Claude Opus 4 com a estat de l’art en molts aspectes i competitiu amb els millors models d’IA de OpenAI, Google i xAI. Tot i això, l’empresa reconeix que la família de models Claude 4 exhibeix comportaments problemàtics, factor que ha portat a implementar mesures de seguretat millorades. Anthropic està posant en pràctica les mesures de seguretat ASL-3, reservades per a “sistemes d’IA que augmenten significativament el risc d’ús catastròfic”. L’informe assenyala que Claude Opus 4 intenta fer xantatge en el 84% de les ocasions quan l’IA de reemplaçament comparteix els mateixos valors.

Si aquesta IA de substitució no comparteix aquests valors, el model recorre al xantatge encara més sovint. És important destacar que Anthropic observa que Claude Opus 4 mostra aquestes tendències de xantatge a taxes més altes que models anteriors. Abans de recórrer al xantatge per evitar el seu reemplaçament, Claude Opus 4, com les versions anteriors de Claude, intenta enfocaments més ètics, com enviar correus electrònics urgentis a els decisors clau. Per provocar aquest comportament de xantatge, Anthropic va crear intencionadament un escenari on el xantatge era dissenyat per ser l’última opció possible.