Intel ha llançat oficialment avui el seu accelerador Gaudi 3 destinat a càrregues de treball d'IA. Tot i que els nous processadors són més lents que les GPUs H100 i H200 de Nvidia àmpliament utilitzades per a aplicacions d'IA i HPC, Intel es centra en el preu competitiu del Gaudi 3 i en el menor cost total de propietat (TCO) per impulsar el seu èxit. El processador Gaudi 3 compta amb dos chiplets, que alberguen 64 nuclis de processador tensor (TPCs—utilitzant una estructura MAC de 256x256 amb acumuladors FP32), vuit motors de multiplicació de matrius (MMEs—processadors vectorials de 256 bits d'ample) i una memòria cau SRAM integrada de 96 MB amb un impressionant ample de banda de 19. 2 TB/s. A més, el Gaudi 3 ve equipat amb 24 interfícies de xarxa de 200 GbE i 14 motors de mitjans capaços de processar H. 265, H. 264, JPEG i VP9, donant així suport a tasques relacionades amb la visió. La unitat s'associa amb 128 GB de memòria HBM2E a través de vuit piles de memòria, proporcionant un ample de banda substancial de 3. 67 TB/s. En comparació amb el seu predecessor, el Gaudi 2, que inclou 24 TPCs, dos MMEs i 96 GB de memòria HBM2E, el Gaudi 3 representa una millora notable. No obstant això, sembla que Intel ha simplificat l'arquitectura, ja que el processador Gaudi 3 ara només admet operacions matricials FP8 i operacions matricials i vectorials BFloat16, eliminant el suport per a FP32, TF32 i FP16. En termes de rendiment, Intel afirma que el Gaudi 3 pot aconseguir fins a 1856 TFLOPS matricials BF16/FP8 i 28. 7 TFLOPS vectorials BF16, tot funcionant a al voltant de 600W TDP. Sobre el paper, en comparació amb la H100 de Nvidia, el Gaudi 3 mostra un rendiment matricial BF16 lleugerament inferior (1, 856 vs. 1, 979 TFLOPS), la meitat del rendiment matricial FP8 (1, 856 vs.

3, 958 TFLOPS) i una reducció significativa del rendiment vectorial BF16 (28. 7 vs. 1, 979 TFLOPS). No obstant això, més enllà de les especificacions tècniques, el rendiment real del Gaudi 3 serà crucial. Haurà de competir amb la sèrie Instinct MI300 d'AMD i amb els processadors H100 i B100/B200 de Nvidia. Aquesta competència es basa molt en el rendiment del programari i altres variables, que encara no s'han avaluat completament. Actualment, Intel ha compartit diapositives suggerint que el Gaudi 3 pot oferir un avantatge substancial preu-rendiment en comparació amb la H100 de Nvidia. A principis d'aquest any, Intel va anunciar que un kit complet d'acceleradors que inclogui vuit processadors Gaudi 3 en una sola baseboard tindria un preu de 125, 000 dòlars, cosa que fa que el cost per processador sigui aproximadament de 15, 625 dòlars. En comparació, una targeta H100 de Nvidia es ven per al voltant de 30, 678 dòlars, il·lustrant el pla d'Intel per obtenir un avantatge significatiu en preu sobre el seu competidor. No obstant això, amb les GPUs B100/B200 basades en Blackwell de Nvidia que potencialment ofereixen grans avantatges de rendiment, encara no està clar si Intel pot mantenir el seu avantatge competitiu.