OpenAI च्या o3 मॉडेलने ARC-AGI बेंचमार्कमध्ये 75. 7% गुण मिळवून AI मध्ये एक आश्चर्यजनक प्रगती साधली आहे, ज्यात सुधारित आवृत्तीने 87. 5% गाठले. हे प्रभावी असले तरी, हे कृत्रिम सर्वसामान्य बुद्धिमत्ता (AGI) येण्याचे सूचक नाही. ARC-AGI बेंचमार्क, रिसनिंग कॉर्पसवर आधारित, AI ची जटिल, नवीन कार्ये दृश्य कोडीसह चाचणी करते. साध्या डेटा प्रशिक्षणाद्वारे बृट-फोर्स सोल्युशन टाळण्यासाठी त्याची रचना अवघड आहे. बेंचमार्कमध्ये 400 उदाहरणांची सार्वजनिक प्रशिक्षण संचिका आणि अधिक आव्हानात्मक मूल्यांकन संच समावेश आहे. खाजगी आणि अर्ध-खाजगी परीक्षण संच AI ला पूर्वज्ञान न देता अविरोधित मूल्यमापन सुनिश्चित करतात. पूर्वी, OpenAI च्या o1 ने ARC-AGI वर फक्त 32% गाठले, आणि संशोधक जेरेमी बर्मनच्या पद्धतीने 53% गाठले. ARC चे निर्माता फ्रँकोइस चोलेट, o3 च्या कामगिरीला AI मध्ये एक मोठी झेप म्हणून वर्णन करतात, GPT मॉडेल्समध्ये यापूर्वी न पाहिलेली अनुकूलता दर्शवितो. o3 च्या प्रमुखपणाचे असूनही, हे मॉडेल मागील मॉडेल्सपेक्षा मोठे नाही, त्याला एक सत्य गुणात्मक सुधारणा म्हणून चिन्हांकित करते, केवळ वाढते नवनिर्मित उन्नत नाही.

तरीही, याचे उच्च खर्च आहेत: कमी-कंप्युटमध्ये प्रति कोडे $17 ते $20 आणि 33 दशलक्ष टोकन, उच्च-कंप्युट सेटिंग्जसाठी मोठ्या प्रमाणात वाढणे. नवीन समस्यांचे निराकरण करण्यासाठी 'प्रोग्राम सिंथेसिस' वर चोलेट भर देतात, ज्यामध्ये छोटे, संयोजनात्मक कार्यक्रम समाविष्ट आहेत. o3च्या यांत्रिकतेवर विरळ माहिती असूनही, विचार प्रक्रियेची साखळी शोध प्रणाली आणि समाधानाच्या वृद्धीसाठी रेइनफोर्समेंट लर्निंग (RL) यांचा समावेश होऊ शकतो असा (विवादित) अनुमान आहे. त्याच्या नावानुसार, ARC-AGI AGI ची चाचणी नाही. चोलेट म्हणतात की o3 ची प्रगत क्षमता असूनही, ते AGI नाही कारण ते अद्याप साध्या कार्यांत अयशस्वी ठरते आणि बाह्य इनपुटशिवाय स्वायत्तपणे शिकू शकत नाही. स्वतंत्र तपासणीत OpenAI च्या निकालांवर प्रश्न उपस्थित केले, हे दर्शवित की o3 ARC प्रशिक्षण डेटावर फाइन-ट्यून केले गेले होते. संशोधक ARC पलीकडे या प्रणालींचा अभिप्राय आणि विचार कौशल्ये निश्चित करण्यासाठी चाचणी करण्याची शिफारस करतात. चोलेटची टीम o3 साठी आव्हानात्मक नवीन बेंचमार्क विकसित करत आहे, तर बहुतांश कोडी माणसे सहज सोडवू शकतात, वर्तमान AI आणि खऱ्या AGIमधील अंतर अधोरेखित करत आहे.