Një organizatë jofitimprurëse që punon mbi benchmark-et matematikore për Inteligjencën Artificiale ka rënë në fokusin e kritikave për moszbulimin e mbështetjes financiare nga OpenAI deri tani, duke nxitur akuzat për papërshtatshmëri brenda komunitetit të AI. Epoch AI, një organizatë jofitimprurëse e mbështetur kryesisht nga Open Philanthropy— një fondacion kërkimor dhe dhëniesh— njoftoi më 20 Dhjetor se OpenAI financoi zhvillimin e FrontierMath. Ky test benchmark ofron probleme në nivel ekspert për të vlerësuar aftësitë matematikore të një AI dhe u përdor nga OpenAI për të demonstruar Inteligjencën e tij të ardhshme kryesore, o3. Në një postim në forumin LessWrong, një kontraktor i Epoch AI me emrin e përdoruesit "Meemi" pretendoi se shumë kontribues në benchmark-un FrontierMath nuk ishin në dijeni të përfshirjes së OpenAI deri sa u publikua informacioni. “Komunikimi në lidhje me këtë ka qenë joshqiptar, ” tha Meemi. “Në mendimin tim, Epoch AI duhej të kishte zbuluar financimin e OpenAI, dhe kontribuesit duhet të kishin informacion të qartë rreth implikimeve të mundshme të punës së tyre përpara se të vendosnin të merrnin pjesë në një benchmark. " Disa përdorues në rrjetet sociale shprehën shqetësime që mungesa e transparencës mund të dëmtojë statusin e FrontierMath si një benchmark neutral. Përveç financimit të FrontierMath, OpenAI kishte akses në shumë probleme dhe zgjidhje brenda benchmark-ut— një detaj të cilin Epoch AI nuk e ndau para 20 Dhjetorit, ditën kur u njoftua o3. Në përgjigje të komenteve të Meemi-t, Tamay Besiroglu, drejtoresha e asociuar e Epoch AI dhe një nga bashkëthemeluesit e saj, mbajti që integriteti i FrontierMath nuk ishte prekur, por pranoi se Epoch AI "kishte gabuar" duke mos qenë më e hapur. “Ne ishim të kufizuar nga kufizimet për zbulimin e partneritetit deri rreth lançimit të o3, dhe me retrospektivë, duhej të kishim insistuar për të qenë më transparentë me kontribuesit e benchmark-ut sa më shpejt të ishte e mundur, ” shkroi Besiroglu.

“Matematikanët tanë meritonin të dinin kush mund të kishte akses në kontributet e tyre. Edhe me kufizimet kontraktuale në zbulimet tona, duhej të kishim prioritizuar transparencën me kontribuesit tanë në marrëveshjen tonë me OpenAI. ” Besiroglu sqaroi se, ndonëse OpenAI ka akses në FrontierMath, ekziston një "marrëveshje verbale" që e parandalon atë të përdorë setin e problemeve për të trajnuar AI-në e saj— në thelb duke shmangur "mësimin për testin. " Për më tepër, Epoch AI mban një "set të veçantë mbajtës" për të siguruar verifikimin e pavarur të rezultateve të benchmark-ut FrontierMath, shpjegoi Besiroglu. “OpenAI ka …mbështetur plotësisht zgjedhjen tonë për të mbajtur një set mbajtës të veçantë, të padukshëm, ” shtoi ai. Megjithatë, situata u komplikuar kur matematikani kryesor i Epoch AI, Ellot Glazer, vuri në dukje në një postim në Reddit se Epoch AI nuk ka arritur ende të verifikojë në mënyrë të pavarur rezultatet e FrontierMath nga OpenAI për o3. “Në mendimin tim, [rezultati i OpenAI-s] është e vërtetë (dm. th. , ata nuk kanë trajnuar mbi dataset-in), dhe ata nuk kanë asnjë motiv për të keqinformuar performancat e tyre të benchmark-ut të brendshëm, ” tha Glazer. “Megjithatë, ne nuk mund të ofrojmë konfirmim deri sa vlerësimi ynë i pavarur të përfundojë. ”