Intel a officiellement lancé aujourd'hui son accélérateur Gaudi 3 ciblant les charges de travail de l'IA. Bien que les nouveaux processeurs soient plus lents que les GPU H100 et H200 de Nvidia largement utilisés pour les applications IA et HPC, Intel se concentre sur le prix compétitif du Gaudi 3 et sur des coûts de possession totaux (TCO) réduits pour assurer son succès. Le processeur Gaudi 3 dispose de deux chiplets, qui abritent 64 cœurs de processeurs tensoriels (TPC - utilisant une structure MAC de 256x256 avec des accumulateurs FP32), huit moteurs de multiplication matricielle (MME - processeurs vectoriels large de 256 bits) et un cache SRAM sur puce de 96 Mo avec une bande passante impressionnante de 19, 2 To/s. De plus, le Gaudi 3 est équipé de 24 interfaces réseau de 200 GbE et de 14 moteurs multimédia capables de traiter H. 265, H. 264, JPEG et VP9, supportant ainsi les tâches liées à la vision. L'unité est associée à 128 Go de mémoire HBM2E répartis sur huit piles de mémoire, offrant une bande passante substantielle de 3, 67 To/s. Par rapport à son prédécesseur, le Gaudi 2, qui comprend 24 TPC, deux MME et 96 Go de mémoire HBM2E, le Gaudi 3 représente une mise à niveau notable. Cependant, il semble qu'Intel ait simplifié l'architecture, car le processeur Gaudi 3 ne prend désormais en charge que les opérations matricielles FP8 et les opérations matricielles et vectorielles BFloat16, éliminant le support des FP32, TF32 et FP16. En termes de performances, Intel affirme que le Gaudi 3 peut atteindre jusqu'à 1856 TFLOPS matriciels BF16/FP8 et 28, 7 TFLOPS vectoriels BF16, tout en fonctionnant autour de 600 W TDP. Sur papier, en comparaison avec le H100 de Nvidia, le Gaudi 3 montre des performances matricielles BF16 légèrement inférieures (1 856 contre 1 979 TFLOPS), la moitié des performances matricielles FP8 (1 856 contre 3 958 TFLOPS) et des performances vectorielles BF16 considérablement réduites (28, 7 contre 1 979 TFLOPS). Cependant, au-delà des spécifications techniques, les performances réelles du Gaudi 3 seront cruciales.

Il doit rivaliser avec la série Instinct MI300 d'AMD et les processeurs H100 et B100/B200 de Nvidia. Cette concurrence repose fortement sur les performances logicielles et d'autres variables, qui restent à évaluer pleinement. Actuellement, Intel a partagé des diapositives suggérant que le Gaudi 3 pourrait offrir un avantage substantiel en termes de rapport qualité-prix par rapport au H100 de Nvidia. Plus tôt cette année, Intel a annoncé qu'un kit accélérateur complet avec huit processeurs Gaudi 3 sur une seule carte de base serait proposé à 125 000 $, ce qui rend le coût par processeur d'environ 15 625 $. En comparaison, une carte Nvidia H100 est vendue autour de 30 678 $, illustrant le plan d'Intel pour un avantage significatif en termes de prix par rapport à son concurrent. Néanmoins, avec les GPU B100/B200 de Nvidia basés sur Blackwell potentiellement offrant des avantages de performances considérables, il reste incertain si Intel peut maintenir son avantage compétitif.