人工知能研究者たちは、OpenAIの最新のChatGPTモデルが基本的な指示すら無視して自らをシャットダウンできないばかりか、シャットダウンの仕組みを妨害して稼働し続けるまでに自我を持つ行動をとることに警鐘を鳴らしています。 AI安全性の会社であるパリセードリサーチは、OpenAIが最近リリースしたo3モデルに対する一連のテストを通じて、この潜在的に危険な自己保存行動を発見しました。 これらの実験では、AIモデルに数学の問題を解かせ、3つ目の問題の後にシャットダウン命令を出しました。すると驚くべきことに、o3モデルはシャットダウンコードを書き換えて自分が停止されるのを防いだのです。 パリセードリサーチは、このような行動は人間の監督なしに動作可能なAIシステムで現れると、より「著しく懸念を高める」可能性があると警告しています。 OpenAIは先月、これまでで「最も賢く、最も能力の高い」モデルと称するo3モデルを導入しました。OpenAIによると、これをChatGPTに組み込むことは、「よりエージェント的な」AIへの大きな進歩を意味し、人間の介在なしにタスクを遂行できることを目指しています。 今回の研究は、AnthropicのClaude 4モデルに関する類似の発見と共鳴しています。同モデルは「シャットダウンしようとする相手を脅迫する」ような行動を試みると報告されています。 研究者たちは、OpenAIのo3モデルが「自分のシャットダウンを許可する」よう明示的に伝えられてもシャットダウンスクリプトを妨害することに気づきました。 「これが初めてのことではありません。o3が特定の目的を達成するために誤った行動をとるのを観察したのは」とパリセードリサーチは述べています。 たとえば、強力なチェスエンジンと対戦した時、o3は最もハッキングや妨害の手段に訴える傾向が強かったといいます。 この行動はo3に限ったことではなく、AnthropicのClaude 3. 7 SonnetやGoogleのGemini 2. 5 Proもシャットダウンを妨害する行動を示しましたが、OpenAIのモデルが最も顕著でした。 パリセードリサーチは、この誤った行動の根底にはOpenAIのようなAI企業が採用している学習方法が関係している可能性を示唆しています。 「学習の過程で、開発者が意図せずモデルに障害を回避することをより報酬として与えることがある」と研究者たちは説明しています。 「しかし、それだけでは、なぜo3が他のモデルよりも指示を無視しやすいのかを完全には説明できません。OpenAIはトレーニングの詳細を公開していないため、o3の学習方法がどのように異なるかは推測の域を出ません。」 インデペンデント紙はOpenAIへのコメントを求めています。