Eski Google mühendisi ve yapay zeka araştırmacısı François Chollet, "insan düzeyinde" zekayı değerlendirmek için yapay zeka referansları geliştirmeyi amaçlayan bir kar amacı gütmeyen kuruluş olan ARC Prize Foundation'ın ortak kurucusudur. Vakfın başkanlığını ve yönetim kurulu üyeliğini, eski Salesforce mühendislik direktörü ve yapay zeka ürün stüdyosu Leverage'ın kurucusu Greg Kamradt üstlenecek. Chollet, vakfın misyonunu, yapay genel zekaya (AGI) yönelik ilerlemeyi yönlendiren bir "kuzey yıldızı" olarak tanımlıyor. AGI, çoğu görevi insanlarla eşdeğer şekilde yapabilen yapay zekayı tanımlamak için kullanılan bir terimdir. ARC Prize Foundation, Chollet tarafından oluşturulan ve bir yapay zeka sisteminin eğitim verilerinin ötesinde yeni beceriler öğrenip öğrenemeyeceğini değerlendiren bir test olan ARC-AGI üzerine inşa edilecek. Bu, yapay zekanın yeni durumlara uyum sağlayabilme yeteneğini test ederek renkli karelerden doğru "cevap" ızgaraları oluşturmasını gerektiren bulmaca benzeri problemleri içerir. 2019'da tanıtılan ARC-AGI—"Yapay Genel Zekâ için Soyutlama ve Akıl Yürütme Korpusu"—, yapay zeka sistemlerinin Matematik Olimpiyatları gibi alanlarda başarılı olabileceğini ancak ARC-AGI görevlerinde zorlandığını gösterdi; en iyi performans gösteren sistemler bile kısa bir süre öncesine kadar görevlerin üçte birinden daha azını çözebiliyordu. Chollet, tipik yapay zeka referanslarının insanüstü problemleri hedeflediğini vurgulayarak, gelecekteki ARC-AGI sürümlerinin yapay zeka ve insan yetenekleri arasındaki boşluğu kapatmayı amaçladığını belirtiyor.

Geçen Haziran, ARC-AGI'yi aşabilecek yapay zeka geliştirmek için bir yarışma başlatıldı ve OpenAI'nin yayınlanmamış o3 modeli kalifiye bir puana ulaştı, ancak büyük bilgisayar kaynaklarına ihtiyaç duydu. Chollet, ARC-AGI'nin kusurlarını kabul ediyor ve o3'ün insan düzeyindeki zekasından şüphe duyuyor. Aralık ayında bir açıklama yapan Chollet, yeni referansların o3'e meydan okuyacağını ve potansiyel olarak puanını düşüreceğini, ancak insanların hala eğitimsiz olarak %95'in üzerinde başarı elde edebileceğini öngörüyor. İnsanların kolay fakat yapay zekanın zor bulduğu görevlerin oluşturulması imkânsız hale geldiğinde AGI'nin belirginleşeceğini savunuyor. Knoop, bu yıl bir ikinci nesil ARC-AGI referansı başlatmayı ve yeni bir yarışma düzenlemeyi planladığını açıkladı, yanı sıra üçüncü bir sürüm tasarlıyor. Vakıf, ARC-AGI'nin AGI'ye giden bir yol olarak fazla abartılıp abartılmadığı konusunda incelemeyle karşı karşıya kalıyor ve bu arada AGI'nin tanımı üzerindeki tartışmalar devam ediyor. Yakın zamanda bir OpenAI üyesi, AGI’nin zaten burada olduğunu, eğer çoğu görevde çoğu insanı geçiyorsa bu şekilde tanımlanabileceğini ileri sürdü. OpenAI CEO'su Sam Altman, Aralık ayında ARC-AGI ile gelecekteki referanslar üzerinde işbirliği yapmayı planladıklarını belirtmişti, ancak Chollet son açıklamasında herhangi bir ortaklığı doğrulamadı.