MLCommons, un groupe de référence en intelligence artificielle, a publié un nouvel ensemble de tests et de résultats visant à évaluer la vitesse du matériel haut de gamme dans l'exécution d'applications d'intelligence artificielle et dans la réponse aux utilisateurs. Ces benchmarks mesurent la réactivité des puces et des systèmes d'intelligence artificielle dans la génération de réponses à partir de modèles d'IA très complexes. Cela permet d'évaluer la rapidité avec laquelle des applications telles que ChatGPT peuvent fournir des réponses aux requêtes des utilisateurs. L'un des nouveaux benchmarks, appelé Llama 2, se concentre sur la mesure de la vitesse des scénarios de questions-réponses pour les grands modèles de langage. Il a été développé par Meta Platforms et contient 70 milliards de paramètres. De plus, MLCommons a inclus un deuxième générateur de texte vers image, appelé MLPerf, basé sur le modèle Stable Diffusion XL de Stability AI. En termes de performances brutes, les serveurs équipés des puces H100 de Nvidia provenant de sociétés telles que Google, Supermicro et Nvidia lui-même se sont distingués dans les deux nouveaux benchmarks.

Certains constructeurs de serveurs ont également soumis des modèles basés sur la puce moins puissante L40S de Nvidia. Il convient de noter que le constructeur de serveurs Krai a soumis un modèle pour le benchmark de génération d'images utilisant une puce d'intelligence artificielle Qualcomm qui consomme significativement moins d'énergie que les processeurs de pointe de Nvidia. Intel a également soumis un modèle basé sur ses puces accélératrices Gaudi2, qui ont donné des résultats solides selon la société. Bien que les performances brutes soient importantes, l'efficacité énergétique est un autre aspect critique à prendre en compte lors du déploiement d'applications d'intelligence artificielle. Les puces d'IA avancées nécessitent une quantité d'énergie substantielle, il est donc essentiel de trouver un équilibre entre les performances et la consommation d'énergie, ce qui constitue un défi majeur pour les entreprises d'IA. MLCommons aborde cette question grâce à une catégorie de benchmark distincte dédiée à la mesure de la consommation d'énergie. (Rapport de Max A. Cherney à San Francisco ; Édition de Jamie Freed)