OpenAI'nin deneysel sohbet botu modeli o3, geçtiğimiz günlerde ARC-AGI testinde etkileyici bir şekilde %87. 5 puan alarak, önceki yapay zeka rekorunu %55. 5 ile önemli ölçüde geride bıraktı. Bu, İnsan Düzeyinde Yapay Zeka (AGI) yolunda önemli bir adımdır. AGI, insanlar gibi akıl yürütebilen, plan yapabilen ve öğrenebilen bir sistem olarak tanımlanır. ARC-AGI testini geliştiren yapay zeka araştırmacısı François Chollet, o3'ün önemli derecede akıl yürütme ve genelleme yeteneklerini kabul etmekle birlikte, AGI'nin henüz tam anlamıyla gerçekleştirilmediğini belirtiyor. o3 modeli, Epoch AI'nin zorlu FrontierMath testi gibi çeşitli kıstaslarda başarılı oldu. Ancak David Rein ve diğer uzmanlar, ARC-AGI'nin yapay zekanın akıl yürütme ve genelleme yeteneklerini doğru ölçüp ölçmediği konusunda şüpheci olup, daha iyi değerlendirme yöntemlerine ihtiyaç duyulduğunu belirtiyorlar. OpenAI, o3'ün operasyonu hakkında ayrıntılar vermemiş olsa da, bu modelin o1 modelinin 'düşünce zinciri' mantığını takip ettiğini belirtmekte. Kimileri, o3'ün en iyi cevabı bulmak için birden fazla akıl yürütme zinciri ürettiğini düşünüyor.

Yüksek performansına rağmen, o3'ün test süreci maliyetli ve zaman alıcı, her bir görev için yaklaşık 14 dakika gerektiriyor ve bu da sürdürülebilirlikle ilgili endişeleri artırıyor. AGI kavramının kesin bir tanımı yoktur ve bu nedenle yapay zekanın bunu ne zaman başarabileceği konusunda fikir birliği sağlanması zordur. Gelişmeleri izlemek için çeşitli testler geliştiriliyor, örneğin Rein’in Google-Proof Soru-Cevap ve OpenAI'nin 2024’te çıkacak MLE-bench'i, yapay zekayı gerçek dünya sorunları ile sınamaktadır. İyi ölçütler, yapay zekanın eğitim sırasında test soruları ile karşılaşmadığını ve kestirme yollar kullanmadan gerçek akıl yürütme gerektirdiğini garanti etmelidir. Xiang Yue, testlerin karmaşık, gerçek dünya şartlarının yanı sıra enerji verimliliğini de içine almasının önemini vurguluyor. Yue’nin MMMU ölçütü, sohbet botlarını üniversite düzeyindeki görevlerde değerlendiriyor ve OpenAI’nin o1 modeli, şu anki rekor puanı 78. 2% ile elinde tutuyor. ARC-AGI ise temel beceriler olan matematik ve desen tanıma üzerine odaklanarak, test-taker'lara sonuçları çıkarmak için tasarım dönüşümleri sunuyor. Yue, ARC-AGI’nin yapay zeka yeteneklerini değerlendirmede sunduğu benzersiz bakış açısını takdir ediyor.