Intel je danas zvanično lansirao svoj akcelerator Gaudi 3 namenjen za AI radna opterećenja. Iako su novi procesori sporiji od Nvidia široko korišćenih H100 i H200 GPU-ova za AI i HPC aplikacije, Intel se fokusira na konkurentne cene i niže ukupne troškove vlasništva (TCO) Gaudi 3 kao ključ za uspeh. Procesor Gaudi 3 ima dva čipleta koja sadrže 64 jezgra tenzorskih procesora (TPC-ova—koristeći MAC strukturu 256x256 sa FP32 akumulatorima), osam motora za množenje matrica (MME-ova—256-bitni vektorski procesori) i 96MB SRAM keša na čipu sa impresivnom propusnošću od 19. 2 TB/s. Pored toga, Gaudi 3 je opremljen sa 24 200 GbE mrežna interfejsa i 14 medijskih motora sposobnih za obradu H. 265, H. 264, JPEG i VP9, čime podržava zadatke vezane za viziju. Jedinica je uparena sa 128GB HBM2E memorije raspoređene u osam stekova, što pruža značajnu propusnost od 3. 67 TB/s. U poređenju sa svojim prethodnikom, Gaudi 2, koji uključuje 24 TPC-a, dva MME-a i 96GB HBM2E memorije, Gaudi 3 predstavlja značajno unapređenje. Međutim, čini se da je Intel pojednostavio arhitekturu, jer procesor Gaudi 3 sada podržava samo FP8 matrčne operacije i BFloat16 matrčne i vektorske operacije, eliminišući podršku za FP32, TF32 i FP16. Što se tiče performansi, Intel tvrdi da Gaudi 3 može postići do 1856 BF16/FP8 matrčnih TFLOP-ova i 28. 7 BF16 vektorskih TFLOP-ova, pri radu na oko 600W TDP. Na papiru, kada se uporedi sa Nvidia H100, Gaudi 3 pokazuje nešto niže BF16 matrčne performanse (1, 856 protiv 1, 979 TFLOP-ova), polovinu FP8 matrčnih performansi (1, 856 protiv 3, 958 TFLOP-ova) i značajno smanjene BF16 vektorske performanse (28. 7 protiv 1, 979 TFLOP-ova). Međutim, izvan tehničkih specifikacija, stvarne performanse Gaudi 3 u praktičnoj primeni biće ključne.

Moraće da se suprotstavi AMD Instinct MI300 seriji i Nvidia H100 i B100/B200 procesorima. Ova konkurencija u velikoj meri zavisi od performansi softvera i drugih varijabli koje tek treba da budu u potpunosti procenjene. Trenutno, Intel je podelio slajdove koji sugerišu da Gaudi 3 može pružiti značajnu prednost u odnosu cene i performansi u poređenju sa Nvidia H100. Ranije ove godine, Intel je najavio da će kompletan akceleratorski kit sa osam Gaudi 3 procesora na jednoj bazi biti cenjen na 125, 000 dolara, čime je cena po procesoru otprilike 15, 625 dolara. U poređenju, Nvidia H100 kartica se prodaje za oko 30, 678 dolara, što ilustruje Intelovu nameru da postigne značajnu prednost u ceni u odnosu na konkurenta. Ipak, sa Nvidia Blackwell baziranim B100/B200 GPU-ovima koji potencijalno nude znatne performanse, ostaje neizvesno da li Intel može zadržati svoju konkurentsku prednost.