Den tidligere Google-ingeniøren og AI-forskeren François Chollet er medstifter av ARC Prize Foundation, en ideell organisasjon som har som mål å utvikle retningslinjer for å vurdere AI for "menneskelig nivå" av intelligens. Stiftelsen vil bli ledet av Greg Kamradt, en tidligere Salesforce-ingeniørdirektør og grunnlegger av AI-produktstudioet Leverage, som vil fungere som dens president og styremedlem. Chollet beskriver stiftelsens misjon som en "nordstjerne" som leder utviklingen mot generell kunstig intelligens (AGI), et begrep som beskriver AI som er i stand til å utføre de fleste oppgaver like bra som mennesker. ARC Prize Foundation vil bygge på ARC-AGI, en test Chollet opprettet for å evaluere om et AI-system kan lære nye ferdigheter utover dets opplæringsdata. Dette innebærer pusle-lignende problemer der AI må generere korrekte "svare" ruter fra fargede firkanter, som tester dets evne til å tilpasse seg nye situasjoner. ARC-AGI—“Abstract and Reasoning Corpus for Artificial General Intelligence”—ble introdusert i 2019 og har vist at AI-systemer kan utmerke seg i områder som Matte-olympiader, men har problemer med ARC-AGI-oppgaver, der de beste systemene har løst færre enn en tredjedel av dem inntil nylig. Chollet understreker at, i motsetning til typiske AI-benchmark som fokuserer på overmenneskelige problemer, er fremtidige versjoner av ARC-AGI ment å eliminere gapet mellom AI og menneskelige evner. I juni i fjor begynte en konkurranse for å utvikle AI som kunne overgå ARC-AGI, med OpenAI's uutgitte o3-modell som oppnådde en kvalifiseringsscore, selv om den krevde store datakraftressurser.

Chollet erkjenner ARC-AGI's ufullkommenheter og tviler på o3's menneskelige nivå av intelligens. I en uttalelse i desember forventet Chollet at nye målestokker ville utfordre o3, potensielt senke scoren sin mens mennesker fortsatt kunne oppnå over 95% uten opplæring. Han hevder AGI vil være åpenbar når det blir umulig å skape oppgaver som er enkle for mennesker, men vanskelige for AI. Knoop kunngjorde planer om å lansere en andre generasjons ARC-AGI-benchmark og en ny konkurranse i år, sammen med å designe en tredje utgave. Stiftelsen står overfor gransking om hvorvidt ARC-AGI har blitt overdrevet som en vei til AGI, midt i debatt om AGI's definisjon. Nylig foreslo et OpenAI-medlem at AGI allerede er her hvis det defineres som AI som overgår de fleste mennesker i de fleste oppgaver. OpenAI-sjef Sam Altman nevnte i desember en plan om å samarbeide med ARC-AGI om fremtidige målestokker, men Chollet bekreftet ingen partnerskap i sin siste kunngjøring.