MLCommons, bir AI performans ölçme grubu, yüksek performanslı donanımın AI uygulamalarını çalıştırma hızını ve kullanıcılara yanıt verme hızını değerlendirmek için yeni bir test ve sonuç seti yayınladı. Bu benchmarklar, AI yongalarının ve sistemlerinin veri dolu AI modellerinden yanıtlar üretme hızını ölçer. Bu, ChatGPT gibi uygulamaların kullanıcı sorgularına ne kadar hızlı yanıt verebildiğinin değerlendirilmesine olanak tanır. Llama 2 adlı yeni bir benchmark, büyük dil modelleri için soru-cevap senaryolarının hızını ölçmeye odaklanır. Bu, Meta Platforms tarafından geliştirilmiş ve 70 milyar parametreye sahiptir. Ayrıca, MLCommons, Stability AI'in Stable Diffusion XL modeline dayanan MLPerf adlı ikinci bir metin-görüntü oluşturucusunu da dahil etti. Ham performans açısından, Google, Supermicro ve Nvidia gibi şirketlerin Nvidia'nın H100 yongaları tarafından desteklenen sunucuları her iki yeni benchmarkta da başarılı oldu.

Bazı sunucu üreticileri ayrıca Nvidia'nın daha güçsüz L40S yongasına dayalı tasarımlar da sundu. Önemli bir nokta olarak, sunucu üreticisi Krai, Nvidia'nın son teknoloji işlemcilerinden çok daha az güç tüketen bir Qualcomm AI yongası kullanılarak görüntü üretimi benchmarku için bir tasarım sundu. Intel de şirketin Gaudi2 hızlandırıcı yongalarına dayalı bir tasarım sunarak sağlam sonuçlar elde etti. Ham performans önemli olsa da, enerji verimliliği AI uygulamalarını kullanıma sunarken dikkate alınması gereken başka bir önemli bir faktördür. Gelişmiş AI yongaları önemli ölçüde enerji gerektirir, bu nedenle performans ve enerji tüketimi arasında bir denge bulmak AI şirketleri için önemli bir zorluktur. MLCommons, enerji tüketimini ölçmeye adanmış ayrı bir benchmark kategorisi aracılığıyla bunu ele almaktadır. (San Francisco'dan Max A. Cherney tarafından bildiriliyor; Jamie Freed tarafından düzenleniyor. )