Nezisková organizace pracující na matematických standardech pro umělou inteligenci se v poslední době dostala pod přímé zkoumání kvůli tomu, že dosud nezveřejnila své finanční zázemí od OpenAI, což vedlo k obviněním z nepřístojnosti uvnitř AI komunity. Epoch AI, neziskovka primárně podporovaná Open Philanthropy - výzkumnou a grantovou nadací - oznámila 20. prosince, že OpenAI financovala vývoj FrontierMath. Tento test v oblasti benchmarkingu zahrnuje úkoly na odborné úrovni, aby vyhodnotil matematické schopnosti AI a byl využit OpenAI k demonstraci jejího nadcházejícího vlajkového AI, o3. V příspěvku na fóru LessWrong tvrdil dodavatel pro Epoch AI používající uživatelské jméno "Meemi", že mnozí přispěvatelé do benchmarku FrontierMath nebyli až do veřejného odhalení vědomi zapojení OpenAI. „Komunikace ohledně toho byla neprůhledná, “ uvedl Meemi. „Podle mého názoru měla Epoch AI zveřejnit financování od OpenAI, a přispěvatelé by měli mít jasné informace o možných důsledcích své práce, než se rozhodnou účastnit se benchmarku. “ Někteří uživatelé na sociálních sítích vyjádřili obavy, že nedostatek transparentnosti by mohl poškodit postavení FrontierMath jako nestranného benchmarku. Kromě financování FrontierMath měla OpenAI přístup k mnoha problémům a řešením v rámci benchmarku - což Epoch AI nesdělila až do 20. prosince, dne, kdy byl o3 oznámen. V reakci na Meemiho komentáře udržoval Tamay Besiroglu, místopředseda Epoch AI a jeden z jejích spoluzakladatelů, že integrita FrontierMath byla nedotčena, ale uznal, že Epoch AI „chyba“ v tom, že nebyla otevřenější. „Byli jsme vázáni omezeními ohledně zveřejnění partnerství až do doby kolem uvedení o3, a zpětně bychom měli trvat na větší transparentnosti s přispěvateli benchmarku hned jak to bylo možné, “ napsal Besiroglu.

„Naši matematici si zasloužili vědět, kdo by mohl mít přístup k jejich příspěvkům. I s kontraktními omezeními ohledně našich zveřejnění jsme měli prioritizovat transparentnost s našimi přispěvateli v rámci naší dohody s OpenAI. “ Besiroglu upřesnil, že zatímco OpenAI má přístup k FrontierMath, existuje „ústní dohoda“, která mu brání používat soubor problémů k trénování své AI - v podstatě se tak vyhýbá „učení se na zkoušku“. Kromě toho Epoch AI udržuje „oddělenou kontrolní sadu“, aby zajistila nezávislé ověření výsledků benchmarku FrontierMath, vysvětlil Besiroglu. „OpenAI. . . plně podpořila naše rozhodnutí zachovat oddělenou, neviditelnou kontrolní sadu, “ dodal. Situaci však komplikoval, když hlavní matematik Epoch AI, Ellot Glazer, poznamenal v příspěvku na Redditu, že Epoch AI dosud nebyla schopna nezávisle ověřit výsledky OpenAI v rámci FrontierMath pro o3. „Podle mě je [skóre OpenAI] autentické (tj. netrénovali na daném datovém souboru) a nemají motivaci zkreslovat výkony v jejich interních benchmarkech, “ uvedl Glazer. „Nicméně nemůžeme poskytnout potvrzení, dokud naše nezávislé hodnocení neskončí. “