OpenAI-ийн туршилтын чатботын загвар o3 саяхан ARC-AGI тест дээрээс гайхалтай 87. 5%-ийн амжилт үзүүлж, өмнөх AI рекордыг 55. 5%-иар ихээхэн давсан байна. Энэ нь хүнтэй тэнцүү түвшинд сэтгэж, төлөвлөж, суралцах чадвартай системээр тодорхойлогддог Artificial General Intelligence (AGI)-ийн чиглэлд том алхам хийсэн явдал юм. ARC-AGI тестийг зохион бүтээсэн AI судлаач François Chollet нь o3-ийн ихээхэн сэтгэн бодох болон ерөнхийлөх чадварыг хүлээн зөвшөөрч байгаа ч AGI-г бүрэн гүйцэд хэрэгжүүлэхэд хүрээгүй гэдгийг тэмдэглэжээ. O3 загвар нь Epoch AI-ийн хамгийн хэцүү FrontierMath тест зэрэг олон шалгуур дээр амжилттай байсан. Гэсэн хэдий ч David Rein болон бусад шинжээчид ARC-AGI AI-ийн сэтгэн бодох болон ерөнхийлөх чадварыг үнэн зөв хэмжиж байгаа эсэхэд эргэлзэж, илүү сайн үнэлгээ шаардлагатай байгааг уриалж байна. OpenAI нь o3-ийн үйл ажиллагааны дэлгэрэнгүй мэдээллийг задлаагүй ч энэ нь o1 загварын 'сэтгэлгээг хэлхэх' логикийг дагадаг гэж мэдэгджээ. Зарим хүмүүс o3 нь хамгийн сайн хариултыг олж авахын тулд олон сэтгэлгээний хэлхээс үүсгэдэг гэж таамаглаж байна. Өндөр гүйцэтгэлтэй байсан ч o3-ийн туршилтын процесс нь үнэтэй, цаг хугацаа их шаарддаг бөгөөд даалгавар бүрт ойролцоогоор 14 минут шаарддаг тул тогтвортой байдалд санаа зовниж байна. AGI-ийн ойлголт нь нарийн тодорхойлолтгүй тул AI үүнд хүрэх үед санал нэг байх нь ойлгомжгүй байна.

Янз бүрийн тестүүд ахиц дэвшил хянах зорилгоор хөгжүүлэгдэж байгаа бөгөөд Rein-ийн Google-Proof Q&A болон OpenAI-ийн 2024 оны MLE-бенч зэрэг AI-г бодит асуудлуудаар сорихоор төлөвлөж байна. Сайн шалгуур нь AI-г сургалтын үеэр тестийн асуулттай тулгарсан эсэхийг шалгаж, ямар нэгэн дөт замгүйгээр жинхэнэ сэтгэн бодох чадвартай байхыг шаарддаг байх ёстой. Xiang Yue нь тестүүдэд бодит дэлхийн нөхцөл байдал болон эрчим хүчний үр ашигтай ажиллагааг чухалчилдаг болохыг онцолж байна. Yue-ийн MMMU шалгуур нь их сургуулийн түвшний даалгаварт чатботуудыг үнэлдэг бөгөөд OpenAI-ийн o1 одоогийн рекорд дүн 78. 2% байна. Харин ARC-AGI нь математик болон хэлбэр танин мэдэх зэрэг суурь чадвар дээр төвлөрч, тестдээ оролцогчдод хариуг нь таамаглах дизайны өөрчлөлтүүдийг өгдөг. Yue нь AI чадамжийг үнэлэхэд ARC-AGI-ийн өвөрмөц хандлагыг үнэлдэг.