Voittoa tavoittelematon järjestö, joka työskentelee matematiikan vertailuarvojen parissa tekoälylle, on väh recently äan joutunut tarkastelun kohteeksi, koska se ei ole aiemmin paljastanut rahoitustaan OpenAI:ltä, mikä on herättänyt syytöksiä väärinkäytöksistä tekoälyyhteisössä. Epoch AI, voittoa tavoittelematon organisaatio, jota tukee pääasiassa Open Philanthropy -tutkimus- ja apuraharahasto, ilmoitti 20. joulukuuta, että OpenAI rahoitti FrontierMathin kehittämistä. Tämä vertailutesti sisältää asiantason ongelmia arvioidakseen tekoälyn matemaattisia kykyjä ja sitä käytettiin OpenAI:n tulevan lippulaivatekoälyn, o3:n, esittelemiseen. LessWrong-foorumilla julkaisemassaan viestissä Epoch AI:n urakoitsija nimimerkillä "Meemi" väitti, että monet FrontierMath-vertailuarvon kontribuoijat eivät tienneet OpenAI:n mukanaolosta, ennen kuin se tuli julki. ”Tiedottaminen asiasta on ollut avoimuudeltaan puutteellista”, Meemi totesi. ”Mielestäni Epoch AI:n olisi pitänyt paljastaa OpenAI:n rahoitus, ja kontribuoijilla pitäisi olla selkeät tiedot heidän työnsä mahdollisista vaikutuksista ennen päätöstä osallistua vertailuarvoon. ” Jotkut sosiaalisen median käyttäjät ilmaisivat huolensa siitä, että avoimuuden puute voisi vahingoittaa FrontierMathin asemaa puolueettomana vertailuarvona. OpenAI:lla oli myös pääsy useisiin ongelmiin ja ratkaisuihin vertailuarvossa – yksityiskohta, jota Epoch AI ei jaettu ennen 20.

joulukuuta, jolloin o3 julkistettiin. Vastauksena Meemin kommentteihin Epoch AI:n apulaisjohtaja ja yksi perustajista, Tamay Besiroglu, totesi, että FrontierMathin eheyteen ei ollut vaikuttanut, mutta myönsi, että Epoch AI ”erehtyi” ollessaan vähemmän suora. ”Olimme sidottuja yhteistyön paljastamisen rajoituksiin o3:n julkistamiseen saakka, ja jälkikäteen meidän olisi pitänyt vaatia suurempaa avoimuutta vertailuarvon kontribuoijilta mahdollisimman aikaisin, ” Besiroglu kirjoitti. ”Matemaatikkomme ansaitsevat tietää, kenellä saattaisi olla pääsy heidän kontribuutioihinsa. Vaikka meillä oli sopimuksellisia rajoituksia tietojemme paljastamisessa, meidän olisi pitänyt priorisoida avoimuus kontribuoijiimme liittyen sopimuksessamme OpenAI:n kanssa. ” Besiroglu tarkensi, että vaikka OpenAI:lla on pääsy FrontierMathiin, heidän on olemassa "suullinen sopimus", joka estää heitä käyttämästä ongelmasarjaa tekoälyn kouluttamiseen – käytännössä välttääkseen "testiin opettamista". Lisäksi Epoch AI ylläpitää "erillistä varasarjaa" varmistaakseen FrontierMath-vertaustulosten itsenäisen vahvistamisen, Besiroglu selitti. "OpenAI on täysin tukenut valintaamme pitää erillinen, näkymätön varasarja, " hän lisäsi. Kuitenkin tilanne monimutkaistui, kun Epoch AI:n johtava matemaatikko, Ellot Glazer, huomautti Reddit-viestissään, että Epoch AI ei ole vielä pystynyt itsenäisesti vahvistamaan OpenAI:n FrontierMath-tuloksia o3:lle. ”Mielestäni [OpenAI:n] tulos on aito (eli eivät ole kouluttaneet tietojoukolle), eikä heillä ole motivaatiota vääristää sisäisiä vertailuunsa tuloksiaan, ” Glazer huomautti. ”Kuitenkin emme voi tarjota vahvistusta ennen kuin itsenäinen arviointimme valmistuu. ”