OpenAI eksperimentaalne vestlusroboti mudel o3 saavutas hiljuti ARC-AGI testis muljetavaldava 87, 5%, ületades oluliselt eelmise tehisintellekti rekordi 55, 5%. See on märkimisväärne samm üldtehisintellekti (AGI) suunas, mida defineeritakse kui süsteemi, mis suudab põhjendada, planeerida ja õppida inimeste tasemel. Tehisintellekti uurija François Chollet, kes töötas välja ARC-AGI testi, tunnustab o3 märkimisväärseid põhjendamis- ja üldistamisvõimeid, kuid ta märgib, et AGI pole veel täielikult realiseerunud. O3 mudel on saavutanud edu mitmetel etalonidel, nagu näiteks Epoch AI keeruline FrontierMath test. Siiski on David Rein ja teised eksperdid skeptilised, kas ARC-AGI mõõdab täpselt tehisintellekti põhjendamis- ja üldistamisvõimeid, ning rõhutavad paremate hindamismeetodite vajalikkust. OpenAI ei ole avaldanud üksikasju o3 toimimise kohta, kuid see järgib o1 mudeli 'mõttekäigu' loogikat. Mõned arvavad, et o3 loob mitu põhjenduskäiku, et leida parim vastus. Hoolimata kõrgest jõudlusest on o3 testimisprotsess kulukas ja aeganõudev, nõudes ülesande kohta umbes 14 minutit, mis tekitab muret jätkusuutlikkuse pärast. AGI kontseptsioonil puudub täpne määratlus, mistõttu puudub ka üksmeel selles, millal tehisintellekt võib selle saavutada.

Edusammude jälgimiseks töötatakse välja mitmeid teste, nagu Rein'i Google-Proof KKK ja OpenAI tulevane 2024 MLE-bench, mis seab tehisintellekti reaalses maailmas esinevate probleemide ette. Hea etalon peab tagama, et tehisintellekt pole treeningu ajal katseküsimusi kohanud, ning nõudma tõelist põhjendamist ilma lühiteedeta. Xiang Yue rõhutab, kui oluline on testides arvestada segaste, reaalse maailma tingimuste ja energiatõhususega. Yue MMMU etalon hindab vestlusroboteid ülikoolitaseme ülesannete põhjal, kus OpenAI o1 hoiab praegust rekordtulemust 78, 2%. Vastupidiselt keskendub ARC-AGI põhioskustele nagu matemaatika ja mustrituvastus, pakkudes katseisikutele disainimuutuste abil järelduste tegemist. Yue hindab ARC-AGI unikaalset perspektiivi tehisintellekti võimete hindamisel.