El model experimental de xat d'OpenAI, o3, ha aconseguit recentment un impressionant 87, 5% a la prova ARC-AGI, superant significativament l'anterior rècord d'IA de 55, 5%. Això representa un pas important cap a la Intel·ligència General Artificial (AGI), definida com un sistema capaç de raonar, planificar i aprendre al mateix nivell que els humans. L'investigador d'IA François Chollet, que va desenvolupar la prova ARC-AGI, reconeix les capacitats substancials de raonament i generalització de l'o3, tot i que destaca que l'AGI encara no s'ha realitzat completament. El model o3 ha destacat en diversos criteris de referència, com la desafiant prova FrontierMath d'Epoch AI. Tanmateix, David Rein i altres experts es mostren escèptics sobre si l'ARC-AGI mesura realment les capacitats de raonament i generalització de l'IA, i insten a realitzar avaluacions millors. OpenAI no ha revelat detalls sobre el funcionament de l'o3, però segueix la lògica de 'cadena de pensament' del model o1. Alguns especulen que l'o3 genera múltiples cadenes de raonament per arribar a la millor resposta. Malgrat el seu alt rendiment, el procés de prova de l'o3 és costós i llarg, requerint uns 14 minuts per tasca, la qual cosa planteja preocupacions sobre la sostenibilitat. El concepte d'AGI manca d'una definició precisa, fent que el consens sobre quan podria assolir-lo sigui esquívol.

S'estan desenvolupant diverses proves per seguir el progrés, com el Google-Proof Q&A de Rein i el futur MLE-bench 2024 d'OpenAI, que desafia la IA amb problemes del món real. Bons criteris de referència han d'assegurar que la IA no hagi trobat les preguntes de prova durant l'entrenament i han d'exigir un veritable raonament sense dreceres. Xiang Yue emfatitza la importància de condicions confuses, del món real i l'eficiència energètica en les proves. El criteri de referència MMMU de Yue avalua els xatbots en tasques a nivell universitari, amb l'o1 d'OpenAI mantenint el rècord actual de 78, 2%. En contrast, l'ARC-AGI se centra en habilitats bàsiques com les matemàtiques i el reconeixement de patrons, proporcionant als examinats transformacions de disseny per inferir resultats. Yue aprecia la perspectiva única de l'ARC-AGI en avaluar les capacitats de la IA.