Rozbieżność między wynikami benchmarków pierwszego i trzeciego rzędu dla modelu AI o3 firmy OpenAI wywołała pytania dotyczące przejrzystości firmy i praktyk oceny modeli. Gdy OpenAI wprowadziło model o3 w grudniu, twierdziło, że model potrafi poprawnie odpowiedzieć na nieco ponad jedną czwartą pytań z FrontierMath, trudnego zestawu zadań matematycznych. Ten wynik znacznie przewyższał konkurencję — kolejny najlepszy model odpowiadał poprawnie na około 2% problemów z FrontierMath. „Dziś wszystkie dostępne oferty mają mniej niż 2% [poprawnych odpowiedzi na FrontierMath], ” stwierdził Mark Chen, główny dyrektor ds. badań w OpenAI, podczas transmisji na żywo. „U nas, wewnętrznie, przy agresywnych ustawieniach testowych z większą mocą obliczeniową, udaje się nam osiągnąć ponad 25%. ” Jednak ta liczba prawdopodobnie stanowiła wartość maksymalną, osiągniętą przez wersję o3 obsługiwaną przez większą moc obliczeniową niż model, który OpenAI publicznie opublikowało w zeszłym tygodniu. Epoch AI, instytut badawczy stojący za FrontierMath, opublikował w piątek niezależne wyniki benchmarków dla o3. Zauważyli, że o3 osiągał około 10%, co jest znacznie poniżej najwyższej deklarowanej przez OpenAI wartości. Nie oznacza to koniecznie oszustwa ze strony OpenAI. Wyniki benchmarków opublikowane przez OpenAI w grudniu wskazywały na wynik dolnej granicy zgodny z ustaleniami Epoch.

Epoch zwróciło także uwagę na różnice w konfiguracji testów oraz na fakt, że użyli nowszej wersji FrontierMath do oceny. „Różnica między naszymi wynikami a wynikami OpenAI może wynikać z tego, że OpenAI oceniało za pomocą bardziej zaawansowanego, wewnętrznego modelu, korzystając z większej mocy obliczeniowej podczas testów, albo z faktu, że te wyniki zostały uzyskane na innej próbce zestawu FrontierMath (180 problemów w frontiermath-2024-11-26 vs. 290 problemów w frontiermath-2025-02-28-private), ” wyjaśnił Epoch. Zgodnie z wpisem na platformie X od Fundacji ARC Prize, która testowała wersję o3 przedpremierową, publiczny model o3 „jest innym modelem […] dostosowanym do użytku w czacie/produktach, ” co zgadza się z obserwacjami Epoch. „Wszystkie opublikowane poziomy mocy obliczeniowej o3 są mniejsze niż wersja, którą [testowaliśmy], ” dodała ARC Prize. Ogólnie rzecz biorąc, większa moc obliczeniowa zazwyczaj przekłada się na lepsze wyniki benchmarków. Przedstawiciel techniczny OpenAI, Wenda Zhou, wspomniała podczas zeszłotygodniowej transmisji na żywo, że wersja produkcyjna o3 jest „bardziej zoptymalizowana pod kątem rzeczywistych zastosowań” i szybsza w porównaniu do wersji demonstracyjnej z grudnia, co może tłumaczyć różnice w wynikach benchmarków. „[Z]robiliśmy [optymalizacje], by uczynić [model] bardziej opłacalnym w kosztach [i] bardziej przydatnym ogólnie, ” powiedziała Zhou. „Wciąż mamy nadzieję — wciąż uważamy — że to jest znacznie lepszy model […], nie będziesz musiał tyle czekać na odpowiedź, co jest ważne w przypadku tego typu modeli. ” Niemniej jednak fakt, że publicznie dostępny o3 nie spełnia początkowych zapowiedzi OpenAI dotyczących wyników, jest do pewnego stopnia bez znaczenia, ponieważ modele o3-mini-high i o4-mini przewyższają o3 w FrontierMath, a firma planuje wkrótce wypuścić bardziej zaawansowaną wersję, o3-pro. Mimo to epizod ten podkreśla, że wyniki benchmarków AI powinny być traktowane z rezerwą — zwłaszcza gdy pochodzą od firm promujących swoje własne usługi. Kontrowersje wokół benchmarków stają się coraz częstsze w dziedzinie sztucznej inteligencji, gdy dostawcy konkurują o nagłówki i uwagę użytkowników nowymi modelami. W styczniu Epoch spotkał się z krytyką za opóźnianie ujawnienia finansowania od OpenAI aż do momentu ogłoszenia o3. Wielu naukowych współtwórców FrontierMath nie było świadomych udziału OpenAI, dopóki nie został on upubliczniony. Ostatnio firma Elon'a Muska, xAI, została oskarżona o publikowanie mylących wykresów benchmarków dla swojego modelu AI Grok 3. Ponadto, Meta przyznała wcześniej w tym miesiącu, że promowała wyniki benchmarków dla innej wersji modelu niż ta, którą udostępniła deweloperom. Aktualizacja na 16:21 czasu pacyficznego: Dodano komentarze od członka zespołu technicznego OpenAI, Wendy Zhou, z zeszłotygodniowej transmisji.