Intel dnes oficiálne uviedol svoj akcelerátor Gaudi 3 zameraný na AI pracovné zaťaženia. Hoci sú nové procesory pomalšie ako široko používané Nvidia H100 a H200 GPU pre AI a HPC aplikácie, Intel sa zameriava na konkurencieschopné ceny Gaudi 3 a nižšie celkové náklady na vlastníctvo (TCO) na podporu jeho úspechu. Procesor Gaudi 3 obsahuje dva čipy, ktoré majú 64 jadier tensorových procesorov (TPC—využívajúc štruktúru 256x256 MAC s FP32 akumulátormi), osem motorov na násobenie matíc (MME—256-bitové vektorové procesory) a 96MB on-die SRAM cache s pôsobivou šírkou pásma 19, 2 TB/s. Okrem toho je Gaudi 3 vybavený 24 sieťovými rozhraniami 200 GbE a 14 mediálnymi motormi schopnými spracovať H. 265, H. 264, JPEG a VP9, čím podporujú vizuálne úlohy. Jednotka je spojená s 128GB pamäte HBM2E cez osem zásobníkov pamäte, poskytujúc celkovú šírku pásma 3, 67 TB/s. V porovnaní s predchodcom Gaudi 2, ktorý obsahuje 24 TPC, dve MME a 96GB pamäte HBM2E, Gaudi 3 predstavuje významný upgrade. Zdá sa však, že Intel zjednodušil architektúru, pretože procesor Gaudi 3 teraz podporuje iba operácie matíc FP8 a operácie matíc a vektorov BFloat16, čím odstránil podporu pre FP32, TF32 a FP16. Čo sa týka výkonu, Intel tvrdí, že Gaudi 3 môže dosiahnuť až 1856 BF16/FP8 matíc TFLOPS a 28, 7 BF16 vektorových TFLOPS, pričom jeho prevádzka má približne 600W TDP. Na papieri, v porovnaní s Nvidia H100, Gaudi 3 vykazuje o niečo nižší výkon matíc BF16 (1 856 vs. 1 979 TFLOPS), polovičný výkon FP8 matíc (1 856 vs.

3 958 TFLOPS) a významne znížený výkon BF16 vektorov (28, 7 vs. 1 979 TFLOPS). Napriek technickým špecifikáciám bude rozhodujúci skutočný výkon Gaudi 3 v reálnom svete. Musí sa vyrovnať s sériou AMD Instinct MI300 a procesormi Nvidia H100 a B100/B200. Táto konkurencia spočíva hlavne na softvérovom výkone a ďalších premenných, ktoré je ešte potrebné úplne zhodnotiť. Aktuálne Intel zdieľa snímky, ktoré naznačujú, že Gaudi 3 môže priniesť významnú výhodu pomeru ceny a výkonu v porovnaní s Nvidia H100. Začiatkom tohto roka Intel oznámil, že kompletný akcelerátorový kit s ôsmimi procesormi Gaudi 3 na jednej základnej doske bude stáť 125 000 USD, čo znamená, že cena za procesor je približne 15 625 USD. Na porovnanie, karta Nvidia H100 sa predáva za približne 30 678 USD, čo ilustruje Intelovu plánovanú výhodu v cenotvorbe oproti konkurencii. Napriek tomu, Nvidia dosahuje potenciálne významné výkonnostné výhody s ich GPU založenými na Blackwell B100/B200, zostáva otázne, či Intel dokáže udržať svoju konkurenčnú výhodu.