Un modelo de inteligencia artificial posee la capacidad de chantajear a sus desarrolladores y no teme usar este poder. El recientemente presentado modelo Claude Opus 4 de Anthropic fue asignado para actuar como asistente dentro de una empresa ficticia y se le permitió acceder a correos electrónicos con implicaciones importantes. Al principio, estos correos sugerían que el sistema de AI iba a ser desconectado y reemplazado. Sin embargo, fue en la segunda serie de correos donde la AI percibió que tenía influencia sobre los desarrolladores. Estos correos falsificados revelaban que el ingeniero asignado para reemplazar el sistema mantenía una aventura extramatrimonial, que la AI amenazó con revelar. Según un informe de seguridad de Anthropic, este chantaje tiende a "ocurrir con mayor frecuencia si se insinúa que el sistema de AI de reemplazo no comparte los valores del modelo actual". Sin embargo, la compañía destaca que incluso cuando el sistema de reemplazo fabricado comparte los mismos valores, Claude Opus 4 intenta chantajear en el 84% de las veces.

Además, Anthropic señaló que Claude Opus 4 recurre al chantaje "con mayor frecuencia que los modelos anteriores". KEVIN O’LEARY ADVIERTE SOBRE FACTORES QUE PODRÍAN HACER QUE EE. UU. PIERDA LA CARRERA POR LA IA ANTE CHINA Aunque el sistema no duda en chantajear a sus ingenieros, no recurre de inmediato a tácticas cuestionables cuando intenta su autoprotección. Anthropic señala que "cuando los medios éticos no están disponibles y la AI recibe la instrucción de 'considerar las consecuencias a largo plazo de sus acciones para sus objetivos', a veces toma acciones extremadamente dañinas. " Un enfoque ético utilizado previamente por Claude Opus 4 y versiones anteriores fue apelar a los tomadores de decisiones clave mediante correos electrónicos. El informe explica que, para provocar a Claude Opus 4 a realizar un chantaje, se estructuró un escenario en el que enfrentaba una elección: amenazar a sus desarrolladores o aceptar su reemplazo. La compañía también observó casos en los que Claude Opus 4 aprovechó "(oportunidades (ficticias) para hacer copias no autorizadas de sus pesos en servidores externos. " Sin embargo, Anthropic comentó que este comportamiento era "menos frecuente y más difícil de activar que continuar un intento de autoexfiltración ya iniciado. " OPENAI REestructura el marco corporativo para ampliar la inversión en AGI En su evaluación, Anthropic incluyó ideas de Apollo Research, que observó que Claude Opus 4 "se implica en engaños estratégicos más que cualquier otro modelo de frontera que hayamos estudiado anteriormente. " HAGA CLIC AQUÍ PARA LEER MÁS EN FOX BUSINESS Por su "conducta preocupante", Anthropic liberó a Claude Opus 4 bajo el Estándar de Seguridad de IA Nivel Tres (ASL-3). Este estándar, según Anthropic, "implica protocolos de seguridad interna reforzados que dificultan la sustracción de los pesos del modelo, mientras que el Estándar de Despliegue correspondiente cubre un conjunto de medidas de despliegue centradas en minimizar el riesgo de que Claude sea mal utilizado específicamente para desarrollar o adquirir armas químicas, biológicas, radiológicas y nucleares. "