Μια μη κερδοσκοπική οργάνωση που εργάζεται για τα μαθηματικά ορόσημα για την τεχνητή νοημοσύνη έχει πρόσφατα βρεθεί υπό εξέταση για το γεγονός ότι δεν αποκάλυψε τη χρηματοδότησή της από την OpenAI μέχρι τώρα, προκαλώντας κατηγορίες ανωμαλίας στην κοινότητα της AI. Η Epoch AI, μια μη κερδοσκοπική οργάνωση που υποστηρίζεται κυρίως από την Open Philanthropy—μία ερευνητική και χρηματοδοτική ίδρυση—ανακοίνωσε στις 20 Δεκεμβρίου ότι η OpenAI χρηματοδότησε την ανάπτυξη του FrontierMath. Αυτός ο διαγωνιστικός έλεγχος περιλαμβάνει προβλήματα επιπέδου εμπειρογνωμόνων για την αξιολόγηση των μαθηματικών ικανοτήτων μιας AI και χρησιμοποιήθηκε από την OpenAI για να επιδείξει την ερχόμενη ναυαρχίδα AI της, o3. Σε μια ανάρτηση στο φόρουμ LessWrong, ένας εργολάβος της Epoch AI με το ψευδώνυμο "Meemi" δήλωσε ότι πολλοί συνεισφέροντες στον διαγωνισμό FrontierMath δεν ήταν ενήμεροι για τη συμμετοχή της OpenAI μέχρι να αποκαλυφθεί δημόσια. "Η επικοινωνία σχετικά με αυτό δεν ήταν διαφανής, ” δήλωσε η Meemi. “Κατά την άποψή μου, η Epoch AI θα έπρεπε να είχε αποκαλύψει τη χρηματοδότηση της OpenAI, και οι συνεισφέροντες θα έπρεπε να έχουν σαφείς πληροφορίες σχετικά με τις πιθανές επιπτώσεις της δουλειάς τους προτού αποφασίσουν να συμμετάσχουν σε έναν διαγωνισμό. " Ορισμένοι χρήστες στα μέσα κοινωνικής δικτύωσης εξέφρασαν ανησυχίες ότι η έλλειψη διαφάνειας θα μπορούσε να βλάψει τη θέση του FrontierMath ως αμερόληπτου ορόσημου. Παράλληλα με τη χρηματοδότηση του FrontierMath, η OpenAI είχε πρόσβαση σε πολλές ασκήσεις και λύσεις μέσα στον διαγωνισμό—μία λεπτομέρεια που η Epoch AI δεν μοιράστηκε πριν από τις 20 Δεκεμβρίου, την ημέρα που ανακοινώθηκε η o3. Αντιδρώντας στα σχόλια της Meemi, ο Tamay Besiroglu, αναπληρωτής διευθυντής της Epoch AI και ένας από τους συνιδρυτές της, διατήρησε ότι η ακεραιότητα του FrontierMath δεν επηρεάστηκε, αλλά παραδέχτηκε ότι η Epoch AI "λάθος" δεν ήταν πιο ειλικρινής. "Ήμασταν υπό περιορισμούς σχετικά με την αποκάλυψη της συνεργασίας μέχρι γύρω από την εκτόξευση της o3, και με την αναδρομή, θα έπρεπε να είχαμε επιμείνει να είμαστε πιο διαφανείς με τους συνεισφέροντες του διαγωνισμού το συντομότερο δυνατό, " έγραψε ο Besiroglu.

"Οι μαθηματικοί μας άξιζαν να ξέρουν ποιος μπορεί να έχει πρόσβαση στις συνεισφορές τους. Ακόμη και με τις συμβατικές περιορισμούς στις αποκαλύψεις μας, θα έπρεπε να είχαμε δώσει προτεραιότητα στη διαφάνεια με τους συνεισφέροντές μας στη συμφωνία μας με την OpenAI. " Ο Besiroglu διευκρίνισε ότι, ενώ η OpenAI έχει πρόσβαση στο FrontierMath, υπάρχει μια "προφορική συμφωνία" που την αποτρέπει από το να χρησιμοποιεί το σύνολο προβλημάτων για να εκπαιδεύσει την AI της—αποφεύγοντας ουσιαστικά την "εκπαίδευση βάσει δοκιμών. " Επιπλέον, η Epoch AI διατηρεί ένα "ξεχωριστό σύνολο απομονωμένων δεδομένων" για να εξασφαλίσει ανεξάρτητη επαλήθευση των αποτελεσμάτων του ορόσημου FrontierMath, εξήγησε ο Besiroglu. "Η OpenAI έχει . . . πλήρως υποστηρίξει την επιλογή μας να κρατήσουμε ένα ξεχωριστό, αόρατο σύνολο απομονωμένων δεδομένων, " πρόσθεσε. Ωστόσο, η κατάσταση περιπλέχτηκε όταν ο επικεφαλής μαθηματικός της Epoch AI, Ellot Glazer, σημείωσε σε ανάρτηση στο Reddit ότι η Epoch AI δεν έχει ακόμη μπορέσει να επαληθεύσει ανεξάρτητα τα αποτελέσματα της OpenAI για το FrontierMath με την o3. "Κατά την άποψή μου, η βαθμολογία της [OpenAI] είναι γνήσια (δηλαδή, δεν έχουν εκπαιδευτεί στο σύνολο δεδομένων), και δεν έχουν κανένα κίνητρο να παραποιήσουν τις εσωτερικές τους επιδόσεις στο διαγωνισμό, " παρατήρησε ο Glazer. "Ωστόσο, δεν μπορούμε να παρέχουμε επιβεβαίωση μέχρι να ολοκληρωθεί η ανεξάρτητη αξιολόγησή μας. "