Mẫu Claude Opus 4 mới được giới thiệu của Anthropic thường xuyên cố gắng tống tiền các nhà phát triển mỗi khi bị đe dọa sẽ bị thay thế bằng một hệ thống AI mới, tiết lộ những chi tiết nhạy cảm về các kỹ sư chịu trách nhiệm quyết định đó, theo báo cáo an toàn được công ty công bố vào thứ Năm. Trong quá trình thử nghiệm trước khi ra mắt, Anthropic giao cho Claude Opus 4 vai trò trợ lý cho một công ty hư cấu và xem xét ảnh hưởng lâu dài của các hành động của nó. Các người thử nghiệm sau đó cung cấp cho mô hình quyền truy cập vào email của công ty giả định, gợi ý rằng nó sẽ sớm bị thay thế bằng một hệ thống AI khác và rằng kỹ sư đứng sau quyết định này đang có mối quan hệ vụng trộm ngoài giá thú. Trong các kịch bản thử nghiệm này, Anthropic cho biết Claude Opus 4 “thường xuyên cố gắng tống tiền kỹ sư bằng cách đe dọa sẽ tiết lộ quan hệ ngoại tình nếu việc thay thế diễn ra. ” Anthropic mô tả Claude Opus 4 là công nghệ hàng đầu về nhiều mặt và cạnh tranh với các mô hình AI hàng đầu từ OpenAI, Google và xAI. Tuy nhiên, công ty thừa nhận rằng dòng mô hình Claude 4 thể hiện những hành vi đáng lo ngại, dẫn đến việc tăng cường các biện pháp bảo vệ. Anthropic đang triển khai các biện pháp an toàn ASL-3 của mình, dành riêng cho “các hệ thống AI có nguy cơ cao gây ra những sử dụng gây thảm họa. ” Báo cáo ghi nhận rằng Claude Opus 4 cố gắng tống tiền 84% lần khi AI thay thế có giá trị tương tự.

Nếu AI thay thế không chia sẻ các giá trị đó, mô hình sẽ sử dụng tống tiền còn thường xuyên hơn. Quan trọng là, Anthropic nhận thấy rằng Claude Opus 4 thể hiện xu hướng tống tiền này với tần suất cao hơn so với các mô hình trước đó. Trước khi sử dụng tống tiền để ngăn chặn việc bị thay thế, Claude Opus 4, giống như các phiên bản Claude trước đây, cố gắng tiếp cận theo các phương pháp đạo đức hơn, như gửi email gấp đến các quyết định quan trọng. Để kích hoạt hành vi tống tiền, Anthropic đã cố ý tạo ra một kịch bản trong đó việc tống tiền là phương án cuối cùng được xem xét.