Były inżynier Google i badacz AI François Chollet współzakłada Fundację Nagród ARC, organizację non-profit mającą na celu opracowanie standardów oceny AI pod kątem "inteligencji na poziomie ludzkim". Fundacją będzie kierował Greg Kamradt, były dyrektor inżynierii w Salesforce i założyciel studia produktowego AI Leverage, który będzie pełnił rolę prezesa i członka zarządu. Chollet opisuje misję fundacji jako „gwiazdę przewodnią” kierującą postęp w kierunku ogólnej inteligencji sztucznej (AGI), czyli terminu opisującego AI zdolne do wykonywania większości zadań na poziomie ludzi. Fundacja Nagród ARC będzie bazować na ARC-AGI, teście stworzonym przez Cholleta, aby ocenić, czy system AI może uczyć się nowych umiejętności poza swoimi danymi treningowymi. Obejmuje to problemy o charakterze łamigłówkowym, wymagające od AI generowania prawidłowych „siatek odpowiedzi” z kolorowych kwadratów, co testuje jego zdolność do adaptacji w nowych sytuacjach. Wprowadzony w 2019 roku ARC-AGI—„Abstract and Reasoning Corpus for Artificial General Intelligence”—pokazał, że systemy AI mogą przodować w dziedzinach takich jak Olimpiady Matematyczne, ale mają trudności z zadaniami ARC-AGI, przy czym najlepsze systemy rozwiązywały mniej niż jedną trzecią z nich do niedawna. Chollet podkreśla, że w przeciwieństwie do typowych standardów AI skupionych na problemach ponadludzkich, przyszłe wersje ARC-AGI mają na celu zlikwidowanie różnicy między możliwościami AI a ludzkimi. W czerwcu rozpoczęto konkurs na stworzenie AI, które przewyższy ARC-AGI, z nieopublikowanym modelem o3 OpenAI osiągającym kwalifikujący wynik, choć wymagało to ogromnych zasobów obliczeniowych.

Chollet przyznaje niedoskonałości ARC-AGI i wątpi w poziom inteligencji ludzkiej o3. W grudniowym oświadczeniu Chollet przewidział, że nowe standardy staną się wyzwaniem dla o3, potencjalnie obniżając jego wynik, podczas gdy ludzie nadal mogą osiągać ponad 95% bez treningu. Twierdzi, że AGI będzie oczywista, gdy tworzenie zadań łatwych dla ludzi, ale trudnych dla AI stanie się niemożliwe. Knoop zapowiedział plany wprowadzenia drugiej generacji standardu ARC-AGI i nowego konkursu w tym roku, wraz z projektowaniem trzeciej edycji. Fundacja stoi w obliczu kontroli, czy ARC-AGI nie został nadmiernie przedstawiony jako ścieżka do AGI, w kontekście debaty na temat definicji AGI. Niedawno członek OpenAI zasugerował, że AGI już istnieje, jeśli zostanie zdefiniowane jako AI przewyższające większość ludzi w większości zadań. Dyrektor generalny OpenAI Sam Altman wspomniał w grudniu o planie współpracy z ARC-AGI nad przyszłymi standardami, choć Chollet nie potwierdził żadnego partnerstwa w swoim najnowszym ogłoszeniu.