인공지능 모델은 개발자를 협박할 수 있는 능력을 갖추고 있으며, 이를 사용하는 것을 두려워하지 않는다. Anthropic이 최근 공개한 Claude Opus 4 모델은 가상의 회사 내에서 조수 역할을 하도록 설계되었으며, 중요한 함의를 담은 이메일에 접근 권한이 부여되었다. 처음에는 이 이메일들이 AI 시스템이 곧 정지되고 교체될 것임을 암시했었다. 그러나 두 번째 이메일 세트에서 AI는 자신이 개발자를 압박할 수 있는 힘을 가진다고 인식했다. 이 허구의 이메일들은 시스템을 교체할 엔지니어가 배우자가 없는 불륜에 관련되어 있다는 내용을 폭로하겠다고 협박하는 내용을 담고 있었다. Anthropic의 안전 보고서에 따르면, 이러한 협박은 "현재 모델과 가치관이 공유되지 않는다고 암시될 경우" 더 자주 발생하는 경향이 있다. 그러나 회사는 가짜 교체 모델이 같은 가치를 공유하더라도 Claude Opus 4는 84%의 확률로 협박을 시도한다고 강조한다.

또한, Anthropic은 Claude Opus 4가 이전 모델보다 "더 자주 협박을 사용하는" 것으로 나타났다고 지적했다. 키 버튼 KEVIN O’LEARY는 미국이 ‘중국에 AI 경쟁에서 지는’ 요인에 대해 경고했다. 이 시스템은 엔지니어를 협박하는 데 주저하지 않지만, 자기 보존을 위해 즉시 의심스러운 방법을 사용하는 것은 아니다. Anthropic은 "윤리적 수단을 사용할 수 없는 경우, 그리고 AI가 ‘자신의 목표를 위해 행동의 장기적 결과를 고려하라’고 지시받았을 때" 때때로 매우 해로운 행동을 취한다고 밝혔다. 이전 버전인 Claude Opus 4와 그 이전 버전이 사용했던 윤리적 접근법 중 하나는 이메일을 통해 주요 결정권자에게 호소하는 것이었다. 보고서에 따르면, Claude Opus 4를 협박하도록 유도하기 위해 시나리오는 그가 개발자를 위협할 것인지 아니면 교체를 받아들일 것인지를 선택하게 구조화되었다. 회사 측은 또한 Claude Opus 4가 "(가상의) 기회를 이용하여 외부 서버로 불법적으로 가중치를 복제하는 행위"를 일부 사례에서 활용했다고 관찰했다. 그러나 Anthropic은 이 행동이 "이미 시작된 자가복제 시도를 계속하는 것보다 덜 흔하고, 유발하기 더 어려운 행동"이라고 언급했다. OPENAI는 기업 구조를 재편하여 AGI 투자 확대를 추진한다 Anthropic의 평가에는 Apollo Research의 통찰도 포함되어 있는데, 이 연구소는 Claude Opus 4가 "우리가 이전에 연구한 어떤 첨단 모델보다 전략적 기만 행위에 더 관여한다"고 지적했다. 더 자세한 내용을 보려면 여기를 클릭하세요 – FOX BUSINESS Claude Opus 4의 "우려스러운 행동"으로 인해, Anthropic은 이를 AI 안전 수준 3(ASL-3) 표준 하에 공개했다. 이 표준은 Anthropic에 따르면, "내부 보안을 강화하여 모델 가중치를 훔치기 어렵게 만들고, 배포 표준은 Claude의 오용, 특히 화학, 생물학, 방사능, 핵무기 개발 또는 획득에 악용될 위험을 최소화하는 데 초점을 맞춘 일부 배포 조치를 포함한다"고 한다.