OpenAI의 o3 인공지능 모델의 퍼포먼스 벤치마크 결과 간의 차이로 인해 회사의 투명성 및 모델 평가 방법에 대한 의문이 제기되고 있습니다. OpenAI가 12월에 o3를 공개할 때, 이 모델이 도전적인 수학 문제 세트인 FrontierMath의 질문들에 대해 정답률이 25%를 조금 넘는다고 주장했습니다. 이 점수는 경쟁사들을 훨씬 능가하는 것으로, 가장 좋은 모델조차도 FrontierMath 문제의 약 2%만 정답으로 맞힌 수준이었습니다. OpenAI의 최고 연구 책임자인 Mark Chen은 라이브 스트리밍 중에 “현재 시장에 나와 있는 모든 제품들은 FrontierMath에서 2% 미만을 기록하고 있다”고 말했습니다. “우리는 내부적으로 o3를 강력한 테스트용 컴퓨팅 환경에서 실행했을 때 25% 이상을 달성하는 것을 보고 있습니다. ” 그러나 이 수치는 아마도 공개된 모델보다 더 많은 컴퓨팅 자원을 활용한 o3의 버전에서 나온 상한선일 가능성이 높습니다. 포트니어Math를 개발한 연구기관인 Epoch AI는 금요일에 독립적인 벤치마크 결과를 발표했습니다. 그들은 o3가 약 10%의 점수를 기록했다고 밝혔으며, 이는 OpenAI가 주장한 최고 수치보다 훨씬 낮은 결과입니다. 이것이 OpenAI의 기만을 의미하는 것은 아닙니다. OpenAI가 12월에 발표한 벤치마크 결과는 Epoch의 결과와 일치하는 하한선 점수였으며, Epoch는 테스트 환경 및 평가에 사용된 FrontierMath의 최신 버전 차이도 언급했습니다. Epoch는 “우리 결과와 OpenAI의 결과 차이가 나는 이유는 OpenAI가 더 강력한 내부 환경에서 평가를 했거나, 더 많은 테스트용 컴퓨팅 자원을 사용했거나, 또는 다른 FrontierMath 문제 세트(앞서 언급된 180문제 vs.

290문제)에서 평가를 진행했기 때문일 수 있다”고 설명했습니다. 또한, 사전 공개된 o3 버전을 테스트했던 ARC Prize 재단의 X 게시글에 따르면, 공개된 o3 모델은 "대화 및 제품 활용을 위해 조정된 별개의 모델"로, Epoch의 관찰과 일치합니다. ARC Prize는 “공개된 모든 o3의 계산 환경은 우리가 벤치마크한 버전보다 작다”고 덧붙였습니다. 일반적으로 더 큰 계산 환경은 더 좋은 벤치마크 결과를 내는 경향이 있습니다. OpenAI의 기술 직원인 Wenda Zhou는 지난주 라이브 스트리밍에서 “생산용 o3 버전이 12월 데모 버전보다 실제 활용 사례와 속도 측면에서 더 최적화되어 있어 벤치마크 결과에 차이가 있을 수 있다”고 밝혔습니다. 그녀는 “우리는 모델의 비용 효율성과 일반적인 유용성을 높이기 위해 여러 최적화를 진행했다”며, “이것이 훨씬 더 나은 모델이라고 생각한다”고 말했습니다. “답변을 기다리는 시간이 줄어들기 때문에, 이 모델들이 가진 중요한 장점입니다. ” 비록 공개된 o3가 초기에 OpenAI의 테스트 주장에 못 미친다고 해도, 이는 큰 문제가 되지 않습니다. 왜냐하면, OpenAI의 o3-mini-high와 o4-mini 모델이 FrontierMath의 성능에서 o3보다 뛰어나며, 회사는 곧 더 강력한 버전인 o3-pro도 출시할 계획이기 때문입니다. 이 사건은 또한 AI 벤치마크 결과들을 신중히 검토해야 함을 시사합니다—특히 자신들의 서비스를 홍보하는 업체들이 제공하는 경우에는 더더욱 그렇습니다. AI 분야에서는 벤치마크 ‘논란’이 점점 더 흔해지고 있는데, 이는 업체들이 새 모델로 언론과 사용자들의 관심을 끌기 위해 경쟁하기 때문입니다. 1월에는 Epoch가 OpenAI의 자금 지원 공개를 o3 발표 이후로 미루면서 비판을 받았으며, 많은 FrontierMath 기여자들은 OpenAI의 개입 사실을 공개될 때까지 알지 못했던 것으로 알려졌습니다. 최근에는 Elon Musk의 xAI가 자사 AI 모델 Grok 3의 벤치마크 차트에 대해 오해를 불러일으키는 자료를 공개했다는 비판도 있었습니다. 또, Meta는 이달 초 개발자에게 제공한 버전과 다른 성능의 벤치마크 점수에 대해 홍보한 사실도 인정했습니다. 지난주 라이브 스트리밍에서 OpenAI 기술 직원 Wenda Zhou의 의견이 추가되었습니다.