Bir sivil toplum kuruluşu olan Epoch AI, AI için matematik kıstasları üzerinde çalışan nonprofit bir kuruluş, son zamanlarda OpenAI'den aldığı mali destekleri şimdiye kadar açıklamamış olması nedeniyle eleştirilere maruz kaldı ve bu durum AI topluluğunda uygunsuzluk iddialarına yol açtı. Epoch AI, temel olarak araştırma ve hibe verme vakfı Open Philanthropy tarafından desteklenen bir nonprofit olarak, 20 Aralık'ta OpenAI'nin FrontierMath'ın geliştirilmesine fon sağladığını duyurdu. Bu değerlendirme testi, bir AI’nın matematiksel yeteneklerini değerlendirmek için uzman seviyesi problemler içermekte olup, OpenAI tarafından yaklaşan amiral gemisi AI'si o3'ü sergilemek için kullanıldı. LessWrong forumunda "Meemi" kullanıcı adına sahip Epoch AI çalışanı bir yüklenici, FrontierMath kıstasına katkıda bulunan birçok kişinin OpenAI'nin katılımından haberdar olmadığını iddia etti. “Bu konuda iletişim şeffaf değildi, ” diyen Meemi, “Bence, Epoch AI OpenAI'nin fonunu açıklamalıydı ve katkıda bulunanların katkılarının potansiyel etkileri hakkında net bilgilere sahip olmaları gerekir, böylece bir değerlendirmeye katılmaya karar vermeden önce düşünmeli. ” Sosyal medyada bazı kullanıcılar, şeffaflık eksikliğinin FrontierMath'ın tarafsız bir kıstas olarak konumuna zarar verebileceğinden kaygı duyduklarını belirttiler. FrontierMath'ı finanse etmenin yanı sıra, OpenAI'nin kıstasta birçok problem ve çözümüne erişimi vardı - bu, Epoch AI'nin 20 Aralık'ta, o3'ün açıklandığı gün önceden paylaşmadığı bir detaydır. Meemi'nin yorumlarına yanıt olarak, Epoch AI'nin ortak direktörü ve kurucu ortaklarından Tamay Besiroglu, FrontierMath'ın bütünlüğünün etkilenmediğini savunsa da, Epoch AI'nın daha açık olmada "hata yaptığını" kabul etti. "Ortaklığı açıklama konusunda o3 lansmanına kadar kısıtlamalara zorlanmıştık ve geriye dönüp baktığımızda, kıstas katkıda bulunanların yanı sıra mümkün olan en kısa sürede daha şeffaf olmamız gerektiğini savunmalıyız, ” yazdı Besiroglu. “Matematikçilerimizin, katkılarına kimin erişebileceğini bilmeye hakkı vardı.

Açıklama konusundaki sözleşme sınırlamalarımıza rağmen, OpenAI ile yaptığımız anlaşmada katkıda bulunanlarımızla şeffaflığı öncelikle sağlamalıydık. ” Besiroglu, OpenAI'nin FrontierMath'a erişimi olmasına rağmen, AI'sini eğitmek için problem setini kullanmasını engelleyen bir "sözlü anlaşma" olduğunu açıkladı ve bu durumun "test için öğretme" kuralını aşındırmadığını vurguladı. Ayrıca, Epoch AI'nin FrontierMath kıstas sonuçlarının bağımsız doğrulamasını sağlamak için bir "ayrı test seti" bulundurduğunu da belirtti. OpenAI'nin, "ayrı ve görünmeyen bir test seti tutma seçimimizi tamamen desteklediğini" ekledi. Ancak durum, Epoch AI'nin baş matematikçisi Ellot Glazer'in bir Reddit paylaşımında, Epoch AI'nin OpenAI'nin FrontierMath sonuçlarını o3 için hâlâ bağımsız olarak doğrulayamadığını belirtmesiyle karmaşıklaştı. "Benim görüşüme göre, [OpenAI'nin] puanı gerçek (yani, verisetinde eğitim almadılar) ve dahili kıstas performanslarını yanlış yansıtma motivasyonları yok, " dedi Glazer. "Ancak, bağımsız değerlendirmemiz tamamlanana kadar onay veremeyiz. "