Neprofitna organizacija koja radi na matematičkim standardima za veštačku inteligenciju (AI) nedavno je došla pod lupu zbog toga što do sada nije otkrila svoj finansijski oslonac iz OpenAI, što je izazvalo optužbe za neprimereno ponašanje unutar AI zajednice. Epoch AI, neprofitna organizacija koju primarno podržava Open Philanthropy—fundacija za istraživanje i dodelu grantova—najavila je 20. decembra da je OpenAI finansirao razvoj FrontierMath-a. Ovaj test slaženja sadrži probleme na nivou eksperta kako bi se evaluirale matematičke sposobnosti AI-a i korišćen je od strane OpenAI-a za demonstraciju njegovog predstojećeg vodećeg AI-a, o3. U postu na forumu LessWrong, izvođač za Epoch AI koji koristi korisničko ime "Meemi" tvrdio je da mnogi doprinosioci FrontierMath standarda nisu bili svesni uključenosti OpenAI-a sve dok to nije javno otkriveno. "Komunikacija oko ovog pitanja nije bila transparentna, " izjavio je Meemi. "Po mom mišljenju, Epoch AI je trebao da otkrije finansiranje od strane OpenAI-a, a doprinosioci bi trebali imati jasne informacije o potencijalnim implikacijama svog rada pre nego što odluče da učestvuju u testiranju. " Neki korisnici na društvenim mrežama izrazili su zabrinutost da bi nedostatak transparentnosti mogao naškoditi statusu FrontierMath-a kao nepristrasnog standarda. Pored finansiranja FrontierMath-a, OpenAI je imao pristup brojnim problemima i rešenjima unutar ovog standarda—detalj koji Epoch AI nije podelio pre 20. decembra, dana kada je najavljen o3. Reagujući na komentare Meemija, Tamay Besiroglu, pomoćnik direktora Epoch AI i jedan od njegovih suosnivača, održao je da integritet FrontierMath-a nije bio pogođen, ali je priznao da je Epoch AI "pogrešio" zbog nedostatka otvorenosti. "Prethodili su nam restrikcije u vezi sa otkrivanjem partnerstva do otprilike lansiranja o3 i, gledajući unazad, trebali smo insistirati na većoj transparentnosti prema doprinosiocima standarda čim je to bilo izvodljivo, " napisao je Besiroglu.

"Naši matematičari su zaslužili da znaju ko bi mogao imati pristup njihovim doprinosima. Čak i sa ugovornim ograničenjima na naše objavljivanje, trebali smo staviti prioritet na transparentnost s našim doprinosiocima u našem sporazumu s OpenAI-em. " Besiroglu je pojasnio da, iako OpenAI ima pristup FrontierMath-u, postoji "verbalni dogovor" koji sprečava korišćenje skupa problema za obuku njihovog AI-a—suštinski izbegavanje "podučavanja za test. " pored toga, Epoch AI održava "odvojeni set podataka" kako bi osigurao nezavisnu verifikaciju rezultata FrontierMath benchmarka, objasnio je Besiroglu. "OpenAI …potpuno je podržao naš izbor da zadržimo odvojeni, nevidljivi set, " dodao je. Međutim, situacija je postala složena kada je vodeći matematičar Epoch AI-a, Ellot Glazer, napomenuo u postu na Redditu da Epoch AI još nije bio u stanju da nezavisno verifikuje rezultate FrontierMath-a za o3. "Po mom mišljenju, [rezultat OpenAI-a] je autentičan (tj. nisu obučavali na skupu podataka) i nemaju motivaciju da pogrešno predstavljaju svoje unutrašnje performanse standarda, " primetio je Glazer. "Međutim, ne možemo dati potvrdu dok naša nezavisna evaluacija ne bude završena. "