MLCommons, grupa zajmująca się testowaniem sztucznej inteligencji, opublikowała nowy zestaw testów i wyników, służących ocenie szybkości działania wysokozdolnego sprzętu w obsłudze aplikacji AI i reagowaniu na użytkowników. Te testy mierzą reaktywność układów AI i systemów w generowaniu odpowiedzi na podstawie modeli AI. Pozwala to ocenić, jak szybko aplikacje, takie jak ChatGPT, mogą dostarczać odpowiedzi na zapytania użytkowników. Jednym z nowych testów, o nazwie Llama 2, skupiających się na mierzeniu prędkości scenariuszy pytanie-odpowiedź dla dużych modeli językowych, jest stworzony przez firmę Meta Platforms zestaw, zawierający 70 miliardów parametrów. Dodatkowo, MLCommons uwzględnił drugi generator tekst-do-obrazu, o nazwie MLPerf, oparty na modelu Stable Diffusion XL firmy Stability AI. Pod względem czystej wydajności, serwery zasilane układami H100 firmy Nvidia od takich firm jak Google, Supermicro i sama Nvidia, osiągnęły doskonałe wyniki w obu nowych testach. Niektórzy producenci serwerów również przedstawili projekty oparte na mniej wydajnym układzie L40S firmy Nvidia. Należy zwrócić uwagę, że producent serwerów Krai przedstawił projekt dla testu generowania obrazów, wykorzystując układ AI firmy Qualcomm, zużywający znacznie mniej energii niż najnowsze procesory Nvidia.

Firma Intel również zgłosiła projekt oparty na swoich układach przyspieszających Gaudi2, który odniósł dobre wyniki według firmy. Oprócz czystej wydajności, istotnym aspektem przy wdrażaniu aplikacji AI jest również efektywność energetyczna. Zaawansowane układy AI wymagają znacznej ilości energii, więc znalezienie równowagi między wydajnością a zużyciem energii stanowi istotne wyzwanie dla firm zajmujących się AI. MLCommons rozwiązuje ten problem dzięki oddzielnemu kategorii testów poświęconej pomiarowi zużycia energii. (Informacje przygotowane przez Maxa A. Cherneya w San Francisco; Edycja przez Jamie Freed)