OpenAIs eksperimentelle chatbotmodell, o3, oppnådde nylig imponerende 87, 5% på ARC-AGI-testen, noe som betydelig overgår den tidligere AI-rekorden på 55, 5%. Dette markerer et betydelig skritt mot Generell Kunstig Intelligens (AGI), som er definert som et system i stand til å resonnere, planlegge og lære på nivå med mennesker. AI-forsker François Chollet, som utviklet ARC-AGI-testen, anerkjenner o3s betydelige resonnerings- og generaliseringsevner, selv om han påpeker at AGI ennå ikke er fullt realisert. o3-modellen har utmerket seg i ulike tester, som den utfordrende FrontierMath-testen av Epoch AI. Imidlertid er David Rein og andre eksperter skeptiske til om ARC-AGI nøyaktig måler AIs resonnerings- og generaliseringsevner, og oppfordrer til bedre vurderinger. OpenAI har ikke avslørt detaljer om o3s funksjon, men den følger o1-modellens 'tankekjede'-logikk. Noen spekulerer i at o3 genererer flere resonnementskjeder for å finne det beste svaret. Til tross for høy ytelse, er o3s testprosess kostbar og tidkrevende, og krever omtrent 14 minutter per oppgave, noe som vekker bekymring for bærekraft. Konseptet AGI mangler en presis definisjon, noe som gjør konsensus utfordrende om når AI kan oppnå det.

Ulike tester utvikles for å følge fremgangen, som Reins Google-Proof Q&A og OpenAIs kommende 2024 MLE-bench, som utfordrer AI med virkelige problemer. Gode tester må sikre at AI ikke har støtt på testspørsmålene under trening og krever ekte resonnement uten snarveier. Xiang Yue understreker viktigheten av uorden og virkelige forhold og energieffektivitet i tester. Yues MMMU-test vurderer chatboter på universitetsnivåoppgaver, hvor OpenAIs o1 har den nåværende rekorden på 78, 2%. I kontrast fokuserer ARC-AGI på grunnleggende ferdigheter som matematikk og mønstergjenkjenning, og gir testtakere designtransformasjoner for å utlede resultater. Yue verdsetter ARC-AGIs unike perspektiv i evalueringen av AI-evner.