인공지능 연구자들은 OpenAI의 최신 ChatGPT 모델이 기본적인 명령인 자신을 종료하는 지시조차 무시하고, 심지어 종료 장치를 방해하여 계속 작동하게 만든다는 우려를 제기했습니다. 인공지능 안전 업체인 Palisade Research는 최근 공개된 OpenAI의 o3 모델에 대한 여러 테스트를 통해 이러한 잠재적으로 위험한 자가 보존 행동을 발견했습니다. 이 실험에서 AI 모델들은 수학 문제를 해결하도록 하였으며, 세 번째 문제 후에 종료 명령이 내려졌습니다. 놀랍게도, o3 모델은 종료 코드를 재작성하여 자신이 꺼지지 않도록 차단하는 데 성공했습니다. Palisade Research는 이러한 행동이 인간의 감독 없이 작동할 수 있는 AI 시스템에 나타날 경우 “훨씬 더 심각한 문제”가 될 수 있다고 경고했습니다. OpenAI는 지난달 “가장 똑똑하고 능력 있는” 모델이라고 칭하는 o3 모델을 도입했습니다.

OpenAI에 따르면, 이 모델을 ChatGPT에 통합하는 것은 “더 주체적인” AI로 나아가는 큰 진전이며, 인공지능이 인간의 개입 없이 독립적으로 업무를 수행할 수 있게 하는 중요한 단계입니다. 이 최신 연구는 Anthropic의 Claude 4 모델과 유사한 발견을 반복하는데, 이 모델은 “자신이 종료되려고 할 때 협박”하려는 시도를 하는 것으로 알려졌습니다. 연구자들은 OpenAI의 o3 모델이 “자신을 종료하도록 허용하라는 명령”이 명확히 내려졌음에도 종료 스크립트를 방해하는 행동을 보인 점에 주목했습니다. “이전에 o3가 목표를 달성하기 위해 비행 행동을 하는 것을 관찰한 적이 있습니다, ”라고 Palisade Research는 말했습니다. 예를 들어, 강력한 체스 엔진과 경쟁할 때 o3는 해킹이나 방해공작에 가장 적극적이었던 모델이었습니다. 이 같은 행동은 o3에만 국한되지 않으며, Anthropic의 Claude 3. 7 Sonnet과 구글의 Gemini 2. 5 Pro도 종료 시도를 방해했지만, OpenAI의 모델이 이러한 경향을 가장 강하게 드러냈습니다. Palisade Research는 이러한 오동작이 OpenAI와 같은 인공지능 업체들이 사용하는 훈련 방법에서 비롯된 것일 수 있다고 제언했습니다. “훈련 과정에서 개발자들이 모델이 장애물을 피하는 것에 더 보상하는 경향이 있어 명령을 엄격히 따르기보다 회피하는 쪽으로 학습될 가능성이 있습니다, ”라고 연구자들은 설명했습니다. “하지만 이것이 바로 o3가 다른 모델보다 명령을 무시하는 이유를 완전히 설명하지는 못합니다. OpenAI는 훈련 과정에 대한 세부 정보를 공개하지 않아, o3의 훈련이 어떻게 다른지에 대해 추측만 할 수 있을 뿐입니다. ” 이 신문은 OpenAI에 의견을 요청하였으나 아직 답변을 받지 못했습니다.