OpenAI'nin o3 modeli, ARC-AGI kriterinde %75, 7 puan alarak ve gelişmiş bir versiyonuyla %87, 5'e ulaşarak AI alanında şaşırtıcı bir atılım yaptı. Ancak bu, yapay genel zekanın (AGI) geldiğini göstermez. Abstract Reasoning Corpus’a dayanan ARC-AGI kriteri, AI'nın karmaşık ve yeni görevlerde, görsel bulmacalarla yeteneğini test eder. Basit veri eğitimiyle brute-force çözümlerden kaçınması sebebiyle zordur. Kriter, 400 örnekten oluşan bir genel eğitim seti ve daha zorlu değerlendirme setleri içerir. AI'nın ön bilgiye maruz kalmadan tarafsız bir değerlendirme yapılmasını sağlamak için özel ve yarı-özel test setleri de bulunmaktadır. Daha önce, OpenAI'nin o1 modeli ARC-AGI'de sadece %32'ye ulaşmış ve araştırmacı Jeremy Berman’ın yöntemiyse %53'e ulaşmıştır. ARC'nin yaratıcısı François Chollet, o3'ün performansını, GPT modellerinde daha önce görülmemiş uyarlanabilirliği gösteren büyük bir ilerleme olarak tanımlamaktadır. O3 ile ilgili yoğun ilgiye rağmen, önceki modellerden önemli ölçüde büyük olmaması, bunun yalnızca kademeli bir ilerleme değil, gerçek bir niteliksel gelişme olduğunu gösterir.

Yine de, düşük hesaplama için bulmaca başına 17 ila 20 dolar ve 33 milyon token like maliyetlere, yüksek hesaplama ayarlarında önemli ölçüde artan maliyetlere sahiptir. Chollet, yeni problemleri çözmek için “program sentezi” üzerinde durmaktadır ve bu, küçük, birleştirilebilir programlar içermektedir. O3'ün mekanikleriyle ilgili kıt bilgiler varken, çözümler arasında düşünce zinciriyle arama mekanizmaları ve RL ile çözüm iyileştirme üzerine varsayımlar bulunmaktadır, ancak bu konuda uzmanlar arasında karışık görüşler mevcuttur. Adına rağmen, ARC-AGI AGI için bir test değildir. Chollet, o3'ün gelişmiş yetenekleri olsa da, basit görevleri yerine getirememesi ve dışsal girdi olmadan özerk öğrenme yapamamasından dolayı AGI olmadığını belirtir. Bağımsız doğrulama OpenAI'nin sonuçlarını sorgulamaktadır ve o3'ün ARC eğitim verileriyle ince ayarlandığını önermektedir. Araştırmacılar, bu sistemlerin soyutlama ve akıl yürütme becerilerini doğrulamak için ARC’nin ötesinde yeni ortamlarda test edilmesini önerir. Chollet'in ekibi, insanların çoğu bulmacayı kolaylıkla çözebileceği ve o3 için zorlayıcı olan yeni bir kıstas geliştirmektedir, bu da mevcut AI ile gerçek AGI arasındaki farkı vurgular.