OpenAIs o3-modell har gjort et overraskende gjennombrudd innen AI ved å oppnå 75, 7 % på ARC-AGI-benchmarket, med en forbedret versjon som når 87, 5 %. Selv om dette er imponerende, indikerer det ikke ankomsten av kunstig generell intelligens (AGI). ARC-AGI-benchmarket, forankret i Abstract Reasoning Corpus, tester AIs evne i komplekse, nye oppgaver med visuelle puslespill. Det er utfordrende på grunn av sin design, som unngår brute-force-løsninger gjennom enkel datatrening. Benchmarket inkluderer et offentlig treningssett med 400 eksempler og mer utfordrende evalueringssett. Private og semi-private testsett sikrer ytterligere objektiv evaluering uten å eksponere AI for tidligere kunnskap. Tidligere nådde OpenAIs o1 kun 32 % på ARC-AGI, og forskeren Jeremy Bermans metode oppnådde 53 %. François Chollet, skaperen av ARC, beskriver o3s ytelse som et stort sprang innen AI, som viser tilpasningsevne tidligere usett i GPT-modeller. Til tross for den betydelige oppmerksomheten rundt o3, er det ikke betydelig større enn tidligere modeller, som markerer det som en ekte kvalitativ forbedring snarere enn kun en inkrementell fremgang.

Det påløper imidlertid høye kostnader: $17 til $20 og 33 millioner tokens per puslespill for lav-beregning, og øker betydelig for høye beregningsinnstillinger. Chollet understreker "programsyntese" for å løse nye problemer, som involverer små, kombinerbare programmer. Selv om det er få detaljer om o3s mekanismer, inkluderer gjetninger tankerekke-resonnement med søkemekanismer og forsterkningslæring (RL) for løsningstesting, selv om det er blandede syn på dette blant eksperter. Til tross for navnet, er ikke ARC-AGI en test for AGI. Chollet hevder at selv om o3 har avanserte kapasiteter, er det ikke AGI da det fortsatt mislykkes i enkle oppgaver og ikke kan lære autonomt uten ekstern input. Uavhengig verifisering stiller spørsmål ved OpenAIs resultater, og antyder at o3 ble finjustert på ARC-treningsdata. Forskere foreslår å teste disse systemene i nye miljøer utenfor ARC for å bekrefte deres abstraksjon og resonneringsevner. Chollets team utvikler en ny benchmark utfordrende for o3, mens mennesker enkelt kunne løse de fleste oppgaver, som understreker gapet mellom nåværende AI og ekte AGI.