Le modèle o3 d’OpenAI a réalisé une avancée surprenante en IA en obtenant un score de 75, 7 % sur le benchmark ARC-AGI, une version améliorée atteignant 87, 5 %. Bien que cela soit impressionnant, cela ne signifie pas l'arrivée de l'intelligence générale artificielle (AGI). Le benchmark ARC-AGI, basé sur le Corpus de Raisonnement Abstrait, évalue la capacité de l'IA à accomplir des tâches complexes et inédites avec des puzzles visuels. Il est difficile en raison de sa conception, qui empêche les solutions par la force brute à travers un simple entraînement de données. Le benchmark comprend un ensemble d'entraînement public de 400 exemples et des ensembles d'évaluation plus difficiles. Des ensembles de tests privés et semi-privés garantissent une évaluation impartiale sans exposer l'IA à des connaissances préalables. Auparavant, l’o1 d’OpenAI n’avait atteint que 32 % sur le benchmark ARC-AGI, et la méthode du chercheur Jeremy Berman avait atteint 53 %. François Chollet, créateur de l’ARC, décrit la performance de l’o3 comme un grand bond en IA, montrant une adaptabilité auparavant inédite dans les modèles GPT. Malgré l’attention considérable autour de l’o3, il n’est pas significativement plus grand que les modèles antérieurs, le marquant comme une véritable amélioration qualitative plutôt qu’un simple progrès incrémental.

Cependant, il engendre des coûts élevés : de 17 à 20 dollars et 33 millions de tokens par puzzle pour un faible calcul, augmentant substantiellement pour des réglages de calcul élevé. Chollet souligne la « synthèse de programmes » pour résoudre de nouveaux problèmes, impliquant de petits programmes combinables. Bien que peu de détails sur le fonctionnement de l’o3 existent, on suppose un raisonnement en chaîne avec des mécanismes de recherche et un apprentissage par renforcement pour affiner les solutions, bien que les opinions à ce sujet soient divisées parmi les experts. Malgré son appellation, l’ARC-AGI n’est pas un test pour l’AGI. Chollet déclare que bien que l’o3 ait des capacités avancées, ce n’est pas de l’AGI car il échoue encore à des tâches simples et ne peut pas apprendre de façon autonome sans entrée externe. La vérification indépendante remet en question les résultats d’OpenAI, suggérant que l’o3 a été ajusté avec les données d’entraînement ARC. Les chercheurs proposent de tester ces systèmes dans de nouveaux environnements au-delà d’ARC pour confirmer leurs compétences d’abstraction et de raisonnement. L’équipe de Chollet développe un nouveau benchmark défiant pour l’o3, alors que les humains pourraient résoudre la plupart des puzzles facilement, soulignant l’écart entre l’IA actuelle et une véritable AGI.