Intel har offisielt lansert sin Gaudi 3 akselerator rettet mot AI-arbeidsbelastninger i dag. Selv om de nye prosessorene er langsommere enn Nvidias mye brukte H100 og H200 GPUer for AI og HPC-applikasjoner, fokuserer Intel på Gaudi 3 sin konkurransedyktige pris og lavere totale eierkostnader (TCO) for å drive sin suksess. Gaudi 3 prosessoren har to chiplets, som huser 64 tensorprosessor-kjerner (TPCs—som bruker en 256x256 MAC-struktur med FP32 akkumulatorer), åtte matrise-multiplikasjonsmotorer (MMEs—256-bit brede vektorprosessorer), og 96MB on-die SRAM-cache med en imponerende båndbredde på 19, 2 TB/s. I tillegg er Gaudi 3 utstyrt med 24 200 GbE nettverksgrensesnitt og 14 mediemotorer som kan behandle H. 265, H. 264, JPEG og VP9, og dermed støtte visjonsrelaterte oppgaver. Enheten er parret med 128GB HBM2E-minne fordelt på åtte minnestakker, og gir en betydelig båndbredde på 3, 67 TB/s. Sammenlignet med sin forgjenger, Gaudi 2, som inkluderer 24 TPCer, to MMEer og 96GB HBM2E-minne, representerer Gaudi 3 en merkbar oppgradering. Det ser imidlertid ut til at Intel har forenklet arkitekturen, ettersom Gaudi 3 prosessoren nå bare støtter FP8 matriseoperasjoner og BFloat16 matrise- og vektoroperasjoner, og fjerner støtte for FP32, TF32 og FP16. Når det gjelder ytelse, hevder Intel at Gaudi 3 kan oppnå opptil 1856 BF16/FP8 matrise TFLOPS og 28, 7 BF16 vektor TFLOPS, alt mens den opererer ved rundt 600W TDP. På papiret, sammenlignet med Nvidias H100, viser Gaudi 3 litt lavere BF16 matrise ytelse (1, 856 vs. 1, 979 TFLOPS), halve FP8 matrise ytelsen (1, 856 vs.

3, 958 TFLOPS), og vesentlig redusert BF16 vektorytelse (28, 7 vs. 1, 979 TFLOPS). Imidlertid, utover de tekniske spesifikasjonene, vil den faktiske ytelsen i virkeligheten til Gaudi 3 være avgjørende. Den må konkurrere med AMDs Instinct MI300-serie og Nvidias H100 og B100/B200 prosessorer. Denne konkurransen hviler tungt på programvareytelse og andre variabler, som ennå ikke er fullt ut vurdert. For øyeblikket har Intel delt lysbilder som antyder at Gaudi 3 kan gi en betydelig pris-til-ytelse-fordel sammenlignet med Nvidias H100. Tidligere i år annonserte Intel at et komplett akseleratorkit med åtte Gaudi 3 prosessorer på et enkelt baseboard ville bli priset til $125, 000, noe som gjør kostnaden per prosessor omtrent $15, 625. Til sammenligning selges et Nvidia H100-kort for rundt $30, 678, noe som illustrerer Intels plan for en betydelig priskant over sin konkurrent. Likevel, med Nvidias Blackwell-baserte B100/B200 GPUer som potensielt tilbyr betydelige ytelsesfordeler, er det fortsatt usikkert om Intel kan opprettholde sin konkurransefordel.