MLCommons, en grupp för AI-benchmarking, har släppt en ny uppsättning tester och resultat för att utvärdera hastigheten hos högpresterande hårdvara vid körning av AI-applikationer och svarstid till användare. Dessa benchmark mäter reaktionsförmågan hos AI-chips och system vid generering av svar från datatäta AI-modeller. Detta möjliggör en bedömning av hur snabbt applikationer som ChatGPT kan leverera svar på användarfrågor. En av de nya benchmarken, kallad Llama 2, fokuserar på att mäta hastigheten för fråga-och-svar-scenarier för stora språkmodeller. Den utvecklades av Meta Platforms och innehåller 70 miljarder parametrar. Dessutom inkluderade MLCommons också en andra text-till-bild-generator, kallad MLPerf, baserad på Stability AI:s Stable Diffusion XL-modell. Vad gäller rå prestanda utmärkte sig servrar som drivs av Nvidias H100-chips från företag som Google, Supermicro och Nvidia själva i båda de nya benchmarken.

Vissa serverbyggare skickade också in design baserad på Nvidias mindre kraftfulla L40S-chip. Märkbart är att serverbyggaren Krai skickade in en design för bildgenereringsbenchmarken med hjälp av en Qualcomm AI-chip som förbrukar avsevärt mindre ström än Nvidias toppmoderna processorer. Även Intel skickade in en design baserad på sina Gaudi2 accelerator chips, vilket gav bra resultat enligt företaget. Medan rå prestanda är viktigt är energieffektivitet en annan avgörande aspekt att överväga vid implementering av AI-applikationer. Avancerade AI-chips kräver betydande energi, så att hitta en balans mellan prestanda och energiförbrukning är en betydande utmaning för AI-företag. MLCommons åtgärdar detta genom en separat benchmarkkategori dedikerad till att mäta energiförbrukningen. (Rapporterat av Max A. Cherney i San Francisco; Redigerat av Jamie Freed)