MLCommons, eine KI-Benchmark-Gruppe, hat einen neuen Satz von Tests und Ergebnissen veröffentlicht, um die Geschwindigkeit von High-End-Hardware bei der Ausführung von KI-Anwendungen und der Reaktion auf Benutzer zu bewerten. Diese Benchmarks messen die Reaktionsfähigkeit von KI-Chips und -Systemen bei der Generierung von Antworten aus datengepackten KI-Modellen. Dies ermöglicht eine Bewertung, wie schnell Anwendungen wie ChatGPT Benutzeranfragen beantworten können. Einer der neuen Benchmarks, namens Llama 2, konzentriert sich auf die Messung der Geschwindigkeit von Frage-Antwort-Szenarien für große Sprachmodelle. Es wurde von Meta Platforms entwickelt und enthält 70 Milliarden Parameter. Zusätzlich enthielt MLCommons einen zweiten Text-zu-Bild-Generator namens MLPerf, der auf dem Stable Diffusion XL-Modell von Stability AI basiert. Hinsichtlich der reinen Leistung schnitten Server, die mit Nvidias H100-Chips von Unternehmen wie Google, Supermicro und Nvidia selbst betrieben wurden, in beiden neuen Benchmarks hervorragend ab.

Einige Serverhersteller reichten auch Designs auf Basis des weniger leistungsstarken L40S-Chips von Nvidia ein. Bemerkenswerterweise reichte der Serverhersteller Krai ein Design für den Bildgenerierungs-Benchmark ein, das einen Qualcomm KI-Chip verwendet, der bedeutend weniger Energie verbraucht als Nvidias neueste Prozessoren. Intel reichte ebenfalls ein Design auf Basis seiner Gaudi2-Beschleunigerchips ein, die laut dem Unternehmen solide Ergebnisse lieferten. Während die reine Leistung wichtig ist, ist Energieeffizienz ein weiterer entscheidender Aspekt, der bei der Bereitstellung von KI-Anwendungen zu berücksichtigen ist. Fortschrittliche KI-Chips benötigen erhebliche Energie, daher stellt die Suche nach einem Gleichgewicht zwischen Leistung und Energieverbrauch eine bedeutende Herausforderung für KI-Unternehmen dar. MLCommons adressiert dies durch eine separate Benchmark-Kategorie, die sich auf die Messung des Stromverbrauchs konzentriert. (Berichterstattung von Max A. Cherney in San Francisco; Bearbeitung von Jamie Freed)