MLCommons, en benchmarkgruppe for kunstig intelligens, har frigivet en ny række tests og resultater til vurdering af hastigheden på avanceret hardware i kørslen af AI-applikationer og reaktionstiden overfor brugere. Disse benchmarks måler responsiviteten af AI-chips og systemer i genereringen af svar fra datatunge AI-modeller. Dette muliggør en vurdering af, hvor hurtigt applikationer som ChatGPT kan levere svar på brugerforespørgsler. En af de nye benchmarks, kaldet Llama 2, fokuserer på måling af hastigheden i spørgsmål-og-svar-scenarier for store sprogmodeller. Den blev udviklet af Meta Platforms og indeholder 70 milliarder parametre. Derudover inkluderede MLCommons også en anden tekst-til-billede-generator, kaldet MLPerf, baseret på Stability AI's Stable Diffusion XL-model. Hvad angår rå ydeevne, udmærkede servere drevet af Nvidias H100-chips fra virksomheder som Google, Supermicro og Nvidia sig i begge nye benchmarks.

Nogle serverbyggere indsendte også designs baseret på Nvidias mindre kraftfulde L40S-chip. Bemærkelsesværdigt indsendte serverbyggeren Krai et design til billedgenereringsbenchmarken ved hjælp af en Qualcomm AI-chip, der forbruger betydeligt mindre strøm end Nvidias topmoderne processorer. Intel indsendte også et design baseret på deres Gaudi2-acceleratorchips, som ifølge virksomheden gav solide resultater. Mens rå ydeevne er vigtig, er energieffektivitet en anden kritisk faktor at overveje, når man implementerer AI-applikationer. Avancerede AI-chips kræver betydelig energi, så at finde en balance mellem ydeevne og energiforbrug er en stor udfordring for AI-virksomheder. MLCommons adresserer dette gennem en separat benchmarkkategori dedikeret til måling af strømforbrug. (Rapporteret af Max A. Cherney i San Francisco; Redigering af Jamie Freed)