MLCommons, un grupo de benchmarking de IA, ha publicado un nuevo conjunto de pruebas y resultados para evaluar la velocidad de hardware de alta gama en la ejecución de aplicaciones de IA y en la respuesta a los usuarios. Estas pruebas miden la capacidad de respuesta de los chips y sistemas de IA en la generación de respuestas a partir de modelos de IA con gran cantidad de datos. Esto permite evaluar qué tan rápido aplicaciones como ChatGPT pueden entregar respuestas a las consultas de los usuarios. Uno de los nuevos benchmarks, llamado Llama 2, se centra en medir la velocidad de escenarios de preguntas y respuestas para modelos de lenguaje grandes. Fue desarrollado por Meta Platforms y contiene 70 mil millones de parámetros. Además, MLCommons incluyó un segundo generador de texto a imagen, llamado MLPerf, basado en el modelo Stable Diffusion XL de Stability AI. En cuanto al rendimiento en bruto, los servidores alimentados por los chips H100 de Nvidia de empresas como Google, Supermicro y Nvidia misma destacaron en ambos nuevos benchmarks.

Algunos constructores de servidores también presentaron diseños basados en el chip L40S de Nvidia, que es menos potente. Es importante destacar que el constructor de servidores Krai presentó un diseño para el benchmark de generación de imágenes utilizando un chip de IA de Qualcomm que consume significativamente menos energía que los procesadores de vanguardia de Nvidia. Intel también presentó un diseño basado en sus chips aceleradores Gaudi2, que arrojaron resultados sólidos según la empresa. Si bien el rendimiento en bruto es importante, la eficiencia energética es otro aspecto crítico a considerar al implementar aplicaciones de IA. Los chips de IA avanzados requieren una cantidad considerable de energía, por lo que encontrar un equilibrio entre rendimiento y consumo de energía es un desafío significativo para las empresas de IA. MLCommons aborda esto a través de una categoría de benchmark separada dedicada a medir el consumo de energía. (Información de Max A. Cherney en San Francisco; Edición de Jamie Freed)