Võrdluse erinevus OpenAI o3 tehisintellekti mudeli esimese ja kolmanda osapoole võrdlusuuringute tulemuste vahel on tekitanud küsimusi ettevõtte läbipaistvuse ja mudelite hindamise tavade kohta. Kui OpenAI tegi detsembris o3 kasutusele võtte, väidetavalt suudab mudel õigesti vastata veidi üle neljandiku FrontierMathi, väljakutsuva matemaatikamõistluskomplekti, küsimustest. See punktisumma ületas konkurente märkimisväärselt—järgmise parima mudeli vastas vaid umbes 2% FrontierMathi ülesannetest korrektselt. “Täna on kõigil saadavatel pakkumistel vähem kui 2% [ FrontierMathil], ” teatas OpenAI peaarendustegevuse direktor Mark Chen otseülekandes. “Me näeme [siseselt], et o3 agressiivsete testaegsete arvutussättedega suudame saavutada üle 25%. ” Kuid see number tõenäoliselt tähendas ülemist piiri, saavutatuna versiooniga o3, mis toetas suuremat arvutusvõimsust kui mudel, mille OpenAI avalikustas eelmisel nädalal. Epoch AI, uurimisinstituut, mis on vastutav FrontierMathi eest, avaldas reedel sõltumatud võrdlusuuringute tulemused o3 jaoks. Nad leidsid, et o3 skooris umbes 10%, mis on märkimisväärselt madalam OpenAI kõrgeimast väidust. See ei tähenda tingimata OpenAI pettust. Detsebris avaldatud OpenAI võrdlussaavutused näitasid madalaimat piiri, mis oli kooskõlas Epoch’i leidudega.

Epoch märkis ka teste seadistuste erinevust ning nende kasutust uuemast FrontierMathi versioonist hindamisteks. “Meie tulemustes ja OpenAI omades võib olla erinevus, kuna OpenAI hindas tõenäoliselt tugevama sisese struktuuri abil, kasutades rohkem testaega arvutusressursse, või sellepärast, et neid tulemusid räägitakse erinevast FrontierMathi alamkogumist (180 probleemi frontiermath-2024-11-26 versus 290 probleemi frontiermath-2025-02-28-private), ” selgitas Epoch. X-i postituses ARC Prize Foundation, mis testis pre-release’i o3 versiooni, väidetakse, et avalik o3-mudel “on erinev mudel […] mille eesmärk on chat/tootefunktsionaalsus, ” mis ühtib Epoch’i tähelepanekutega. “Kõik avaldatud o3 arvutuskihtide versioonid on väiksemad kui meie võrdluses kasutatud versioon, ” lisas ARC Prize. Üldiselt toodab suurem arvutusressurss paremaid tulemusi võrdlussteetidel. OpenAI tehnikatöötaja Wenda Zhou mainis otseülekandes eelmisel nädalal, et tootmise versioon o3 on “paremini optimeeritud reaalse maailma kasutusjuhtudeks” ning kiirem kui detsembris demonstreeritud versioon, mis võib põhjustada võrdlus tulemuste “erinevusi. ” “[W]e’ve tehtud [optimeerimisi], et muuta mudel [võrreldes] kulutasakadsemaks [ja] kasulikumaks üldiselt, ” ütles Zhou. “Me loodame siiski, et—me arvame veel—see on palju parem mudel […] Sa ei pea nii kaua ootama, kui küsid vastust, mis on tõeline asi selliste [tüüpide] mudelite puhul. ” Sellegipoolest on fakt, et avalikult avaldatud o3 ei vasta OpenAI algsetele testitulemustele, küllalt arutlusobjekt, kuna OpenAI o3-mini-high ja o4-mini mudelid ületavad o3 tulemusi FrontierMathil ning ettevõte plaanib peagi välja lasta veel võimsama versiooni, o3-pro. Kuid see juhtum rõhutab, et tehisintellekti võrdlusandmeid tuleks vaadata ettevaatlikult—eriti olukorras, kus need pärinevad ettevõtetelt, kes turundavad oma teenuseid. Võrdlusuuringute “vaidlusi” on AI valdkonnas üha rohkem, kuna müüjad konkureerivad uudiste ja kasutajate tähelepanu nimel uute mudelitega. Jaanuaris sai Epoch kriitikat, kuna ta peitis OpenAI rahastuse avalikustamise, kuni oli teade o3 kohta. Paljud FrontierMathi akadeemilised koostööpartnerid ei teadnud OpenAI osalemisest enne, kui see teavitati avalikult. Hiljuti süüdistati Elon Muski xAI-d eksitavate võrdluspiltide avaldamises oma AI-mudeli Grok 3 jaoks. Lisaks tunnustas Meta selle kuu alguses, et nad reklaamisid võrdlusnäitajaid teise mudeli versiooni kohta, mis ei olnud sama, mida nad pakkusid arendajatele. Uuendatud kell 16. 21 PPA-s: lisatud kommentaarid OpenAI tehniku Wenda Zhou kohta eelmisel nädalal otseülekandes.