Моделот o3 на OpenAI постигна изненадувачки напредок во областа на вештачката интелигенција со 75. 7% резултат на ARC-AGI бенчмаркот, а подобрената верзија достигна 87. 5%. Иако импресивно, ова не значи дека е постигната вештачка општа интелигенција (АГИ). ARC-AGI бенчмаркот, вкоренет во Корпусот за Апстрактно Заклучување, ги тестира способностите на вештачката интелигенција во сложени, нови задачи со визуелни загатки. Тој е тежок поради својата дизајн, кој избегнува решенија со едноставно учење од податоци. Бенчмаркот вклучува јавен тренинг сет од 400 примери и поизазовни евалуациски сетови. Приватните и полу-приватните тест сетови дополнително осигуруваат непристрасна евалуација без претходно знаење на ИИ. Претходно, o1 моделот на OpenAI постигна само 32% на ARC-AGI, а методот на истражувачот Џереми Берман 53%. Франоа Шоле, креаторот на ARC, го опишува постигнувањето на o3 како голем скок во вештачката интелигенција, покажувајќи адаптивност претходно невидена во GPT моделите. И покрај значителното внимание околу o3, тој не е значајно поголем од претходните модели, што го одбележува како вистинско квалитативно подобрување, а не само постепен напредок.

Сепак, тоа има високи трошоци: 17 до 20 долари и 33 милиони токени по загатка за ниски компјутски ресурси, кое се зголемува значително за високи ресурси. Шоле истакнува “синтеза на програми” за решавање на нови проблеми, со учество на мали, комбинирани програми. Иако постојат малку детали за механиката на o3, се претпоставува дека се користи резонирање со низите на помисли, механизми за пребарување и зајакнато учење за подобрување на решенијата, иако меѓу експерите има мешани мислења околу ова. И покрај името, ARC-AGI не е тест за АГИ. Шоле изјавува дека иако o3 има напредни способности, тој не е АГИ затоа што сè уште не успева во едноставни задачи и не може автономно да учи без надворешен влез. Независна верификација го доведе во прашање резултатите на OpenAI, сугерирајќи дека o3 бил дополнително обучен на ARC тренинг податоците. Истражувачите предложуваат тестирање на овие системи во нови средини надвор од ARC за да ги потврдат нивните способности за апстракција и заклучување. Тимот на Шоле развива нов бенчмарк предизвикувачки за o3, при што луѓето би можеле лесно да ги решат повеќето загатки, укажувајќи на јазот помеѓу сегашната вештачка интелигенција и вистинската АГИ.