L'antic enginyer de Google i investigador d'IA François Chollet està cofundant la Fundació ARC Prize, una organització sense ànim de lucre destinada a desenvolupar referències per avaluar la intel·ligència d'IA a "nivell humà". La fundació estarà dirigida per Greg Kamradt, un antic director d'enginyeria de Salesforce i fundador de l'estudi de productes d'IA Leverage, qui en serà el president i membre del consell. Chollet descriu la missió de la fundació com un "estel polar" que guiarà el progrés cap a la intel·ligència general artificial (AGI), un terme que descriu una IA capaç de realitzar la majoria de tasques tan bé com els humans. La Fundació ARC Prize es basarà en ARC-AGI, una prova creada per Chollet per avaluar si un sistema d'IA pot aprendre noves habilitats més enllà de les seves dades d'entrenament. Això implica problemes en forma de trencaclosques que requereixen que la IA generi quadrícules "resposta" correctes a partir de quadrats de colors, posant a prova la seva capacitat d'adaptar-se a situacions noves. Introduït el 2019, ARC-AGI—"Corpus d'Abstracció i Raonament per a la Intel·ligència General Artificial"—ha demostrat que els sistemes d'IA poden excel·lir en àrees com les Olimpíades de Matemàtiques, però tenen dificultats amb les tasques d'ARC-AGI, amb els sistemes millor rendiment resolent menys d'un terç d'elles fins fa poc. Chollet subratlla que, a diferència dels indicadors típics d'IA que se centren en problemes sobrehumans, les futures versions d'ARC-AGI tenen com a objectiu eliminar la bretxa entre les capacitats de la IA i dels humans. El juny passat, va començar una competició per desenvolupar una IA que pogués superar ARC-AGI, amb el model o3 sense llançar d'OpenAI assolint una puntuació qualificadora, tot i que va requerir enormes recursos computacionals.

Chollet reconeix les imperfeccions d'ARC-AGI i dubta de la intel·ligència a nivell humà d'o3. En una declaració de desembre, Chollet va preveure que els nous criteris posarien a prova o3, potencialment reduint la seva puntuació, mentre que els humans podrien aconseguir més del 95% sense entrenament. Afirma que l'AGI serà evident quan fer tasques fàcils per als humans, però difícils per a les IA, esdevingui impossible. Knoop va anunciar plans per llançar un criteri ARC-AGI de segona generació i una nova competició aquest any, a més de dissenyar una tercera edició. La fundació s'enfronta a l'escrutini sobre si ARC-AGI ha estat exagerat com a camí cap a l'AGI, enmig del debat sobre la definició d'AGI. Recentment, un membre d'OpenAI va suggerir que l'AGI ja és aquí si es defineix com a IA que supera la majoria d'humans en la majoria de tasques. El CEO d'OpenAI, Sam Altman, va mencionar al desembre un pla de col·laboració amb ARC-AGI en futurs criteris, tot i que Chollet no va confirmar cap associació en el seu últim anunci.