OpenAI:n kokeellinen chatbot-malli, o3, saavutti äskettäin vaikuttavan tuloksen 87, 5 % ARC-AGI-testissä, ylittäen merkittävästi aiemman tekoälyennätyksen, joka oli 55, 5 %. Tämä merkitsee merkittävää askelta kohti yleistä tekoälyä (AGI), joka määritellään järjestelmäksi, joka kykenee ihmisen tasoiseen päättelyyn, suunnitteluun ja oppimiseen. Tekoälytutkija François Chollet, joka kehitti ARC-AGI-testin, myöntää o3:n huomattavat päättely- ja yleistämiskyvyt, vaikka hän mainitsee, ettei AGI:tä ole vielä täysin saavutettu. O3-malli on menestynyt erilaisissa testeissä, kuten haastavassa Epoch AI:n FrontierMath-testissä. Kuitenkin David Rein ja muut asiantuntijat suhtautuvat skeptisesti siihen, mittaako ARC-AGI tarkasti tekoälyn päättely- ja yleistämiskykyjä, ja vaativat parempia arviointimenetelmiä. OpenAI ei ole paljastanut yksityiskohtia o3:n toiminnasta, mutta se noudattaa o1-mallin 'ajatusketjun' logiikkaa. Jotkut spekuloivat, että o3 luo useita päättelyketjuja saadakseen parhaan vastauksen. Huolimatta korkeasta suorituskyvystään, o3:n testausprosessi on kallis ja aikaavievä, sillä se vaatii noin 14 minuuttia tehtävää kohden, mikä herättää huolta kestävyydestä. AGI-konsepti puuttuu tarkka määritelmä, mikä tekee yhteisymmärryksen saavuttamisen vaikeaksi siitä, milloin tekoäly saattaa saavuttaa sen.

Erilaisia testejä kehitetään edistymisen seuraamiseksi, kuten Reinin Google-Proof Q&A ja OpenAI:n tulossa oleva vuoden 2024 MLE-bench, joka haastaa tekoälyä tosielämän ongelmilla. Hyvien testien on varmistettava, että tekoäly ei ole kohdannut testikysymyksiä koulutuksensa aikana ja vaadittava aitoa päättelyä ilman oikoteitä. Xiang Yue korostaa testien tärkeyttä sotkuisissa, tosielämän olosuhteissa ja energiatehokkuudessa. Yuen MMMU-vertailuarvo arvioi chatbotteja yliopistotason tehtävillä, ja OpenAI:n o1 pitää hallussaan nykyistä ennätystulosta 78, 2 %. Sitä vastoin ARC-AGI keskittyy perustaidoihin, kuten matematiikkaan ja kuviontunnistukseen, antaen testaajille suunnittelumuunnoksia päätelmien tekemiseksi. Yue arvostaa ARC-AGI:n ainutlaatuista näkökulmaa tekoälykykyjen arvioinnissa.