Përparimet e shpejta në inteligjencën artificiale (AI) kanë ngritur pyetje kritike rreth vlerësimit dhe kuptimit të aftësive të modeleve të avancuara. Me shfaqjen e shpeshtë të modeleve të reja, bëhet thelbësore të vlerësohet krahasueshmëria e tyre, veçanërisht pasi shumë prej tyre arrijnë rezultate të ngjashme në treguesit standard. Megjithatë, mospërputhjet në renditje dhe performancë sugjerojnë se disa modele mund të kenë forcë dhe dobësi unike. Identifikimi i aftësive që janë jetike për aplikimet reale të AI, por që mbeten sfiduese për shumicën e modeleve është kyç për përparimin në kërkimin dhe shpërndarjen e AI. Për të trajtuar këto sfida të vlerësimit, publikimi ynë i ri i burim të hapur, "EUREKA: Vlerësimi dhe Kuptimi i Modeleve të Mëdha Themelore, " paraqet një analizë të plotë të dymbëdhjetë modeleve të avancuara pronësore dhe me peshë të hapur. Në qendër të kësaj analize është korniza Eureka, e dizajnuar për vlerësime të standardizuara të modeleve të mëdha themelore përtej raportimit të thjeshtë të rezultateve. Kjo kornizë mbështet vlerësime gjuhësore dhe multimodale dhe lejon zhvilluesit të krijojnë tubacione të personalizuara. Duke nxitur praktikat transparente të vlerësimit, ne synojmë të bashkëpunojmë me komunitetin për të rafinuar matjet për aftësitë dhe modelet e reja që dalin. Eureka përqendrohet në aftësitë sfiduese dhe të paeksploruara që nuk trajtohen nga treguesit kryesorë.

Në vend që të përqendrohet në treguesit e tejmbushur, që kufizojnë thellësinë analitike, Eureka thekson identifikimin e fortësive të modelit në skenarë të ndryshëm. Kjo krahasim e nuancuar zbulon se modelet arrijnë performancë të përgjithshme të krahasueshme jo përmes aftësive identike por përmes aftësive diverse dhe komplementare, të ngjashme me atletët që shkëlqejnë në disiplina të ndryshme të triathlonit. Një aspekt tjetër i vlerësimit të modelit përfshin konsistencën, e cila është jetike për besimin e përdoruesit. Analiza jonë thekson se shumë modele mungojnë në determinizëm të plotë, duke treguar variabilitet në rezultatet edhe me variabla të kontrolluar. Përveç kësaj, ne identifikojmë çështje të përputhshmërisë së kthimit, ku edhe përditësime të vogla mund të çojnë në regresione në përgjigjet e modelit, duke krijuar sfida për zhvilluesit e aplikacioneve. Ndërsa askush model nuk shkëlqen në të gjitha fushat, modele të tilla si Claude 3. 5 Sonnet dhe GPT-4o 2024-05-13 performojnë mirë në shumë dimensione. Notably, modelet e vlerësuara tregojnë forcë të dallueshme në ndjekjen e udhëzimeve, por kanë vështirësi me saktësinë faktike dhe mbështetjen gjatë tërheqjes së informacionit. Vëzhgimet nënvizojnë nevojën për përmirësim të vazhdueshëm të modeleve AI dhe rëndësinë e adresimit të boshllëqeve të vërejtura edhe ndër modelet më të mira. EUREKA jo vetëm që jep një pasqyrë të vlerësimeve aktuale të AI por gjithashtu vendos bazën për bashkëpunime të ardhshme me komunitetin e burim të hapur për të përmirësuar standardet e matjes për aftësitë dhe modelet që evoluojnë.