MLCommons, een AI benchmarkgroep, heeft een nieuwe reeks tests en resultaten vrijgegeven om de snelheid van hoogwaardige hardware bij het uitvoeren van AI-toepassingen en het reageren op gebruikers te evalueren. Deze benchmarks meten de responsiviteit van AI-chips en systemen bij het genereren van antwoorden uit datarijke AI-modellen. Dit maakt een beoordeling mogelijk van hoe snel toepassingen zoals ChatGPT antwoorden kunnen leveren op gebruikersvragen. Een van de nieuwe benchmarks, genaamd Llama 2, richt zich op het meten van de snelheid van vraag-en-antwoordscenario's voor grote taalmodellen. Het is ontwikkeld door Meta Platforms en bevat 70 miljard parameters. Daarnaast heeft MLCommons ook een tweede tekst-naar-beeldgenerator opgenomen, genaamd MLPerf, gebaseerd op het Stable Diffusion XL-model van Stability AI. Wat betreft ruwe prestaties presteerden servers aangedreven door Nvidia's H100-chips van bedrijven als Google, Supermicro en Nvidia zelf uitstekend in beide nieuwe benchmarks.

Sommige serverbouwers indienen ook ontwerpen op basis van Nvidia's minder krachtige L40S-chip. Opmerkelijk genoeg heeft serverbouwer Krai een ontwerp ingediend voor de beeldgeneratiebenchmark met gebruik van een Qualcomm AI-chip die aanzienlijk minder energie verbruikt dan de geavanceerde processors van Nvidia. Ook heeft Intel een ontwerp ingediend op basis van zijn Gaudi2-versnellingschips, wat solide resultaten opleverde volgens het bedrijf. Hoewel ruwe prestaties belangrijk zijn, is energie-efficiëntie een andere kritische factor om te overwegen bij het implementeren van AI-toepassingen. Geavanceerde AI-chips vereisen aanzienlijke energie, dus het vinden van een balans tussen prestaties en energieverbruik is een grote uitdaging voor AI-bedrijven. MLCommons pakt dit aan door middel van een aparte benchmarkcategorie die is gewijd aan het meten van stroomverbruik. (Rapportage door Max A. Cherney in San Francisco; Bewerking door Jamie Freed)