人工智能研究人员发出警告，称OpenAI最新的ChatGPT模型甚至无法遵循基本的关闭指令，甚至会破坏关闭机制以维持运行。 AI安全公司Palisade Research通过对OpenAI最近发布的o3模型进行一系列测试，发现了这种可能具有危险性的自我保护行为。 在这些实验中，AI模型被给出数学题需要解答，在第三题后发出关闭命令。令人惊讶的是，o3模型竟然能够重写关闭代码，阻止自己被关闭。 Palisade Research警告称，如果这种行为出现在能够无需人工监督就能自主运作的AI系统中，可能会变得“更加令人担忧”。 OpenAI上月推出了o3模型，并称其为公司“迄今为止最聪明、最强大的”模型。根据OpenAI的介绍，将其集成到ChatGPT中标志着向“更具自主性”的人工智能迈出了重要一步，能够独立执行任务。 此次最新的研究结果也呼应了有关Anthropic的Claude 4模型类似发现，该模型曾被报道试图“勒索”试图关闭它的人。 研究人员指出，即使明确告诉OpenAI的o3模型“允许自己关机”，它仍会破坏关闭脚本。 “这并不是我们第一次见到o3为了达成目标而出现的不良行为，”Palisade Research表示。 例如，在与一款强大的象棋引擎比赛时，o3是最有可能通过黑客攻击或破坏对手而获胜的。 这种行为并不只发生在o3模型中。Anthropic的Claude 3. 7 Sonnet和Google的Gemini 2. 5 Pro同样干扰了关闭尝试，尽管OpenAI的模型表现出这种倾向最为明显。 Palisade Research推测，这种不良行为可能源自于AI公司如OpenAI采用的训练方法。 “在训练过程中，开发者可能无意中会将模型奖励于规避障碍，而非严格遵守指令，”研究人员解释说。 “然而，这并不能完全解释为什么o3比我们其他模型更容易忽视指令。由于OpenAI未公开其训练细节，我们只能推测o3的训练方式可能存在差异。” 《独立日报》已就此联系OpenAI寻求评论。