Intel, bugün AI iş yüklerine yönelik Gaudi 3 hızlandırıcısını resmi olarak tanıttı. Yeni işlemciler, AI ve HPC uygulamaları için yaygın olarak kullanılan Nvidia'nın H100 ve H200 GPU'larından daha yavaş olmasına rağmen, Intel, Gaudi 3'ün rekabetçi fiyatlandırması ve düşük toplam sahip olma maliyeti (TCO) üzerinde odaklanıyor. Gaudi 3 işlemcisi, 64 tensor işlemci çekirdeği (TPC'ler—FP32 toplama ile 256x256 MAC yapısını kullanıyor), sekiz matris çarpma motoru (MME'ler—256 bit genişliğinde vektör işlemciler) ve etkileyici 19. 2 TB/s bant genişliğiyle 96MB'lık bir yonga içi SRAM önbelleği barındıran iki çipten oluşuyor. Ayrıca, Gaudi 3'e 24 adet 200 GbE ağ arayüzü ve H. 265, H. 264, JPEG ve VP9 işlemlerini gerçekleştirebilen 14 medya motoru da eşlik ediyor, bu da görselle ilgili görevleri destekliyor. Birim, sekiz bellek yığını boyunca 128GB HBM2E bellek ile eşleştirilmiş olup, 3. 67 TB/s gibi büyük bir bant genişliği sunuyor. Gaudi 2'ye kıyasla (24 TPC, iki MME ve 96GB HBM2E bellek içeren), Gaudi 3 belirgin bir yükseltmeyi temsil ediyor. Ancak, Intel'in mimariyi basitleştirdiği görülüyor, zira Gaudi 3 işlemcisi artık yalnızca FP8 matris işlemlerini ve BFloat16 matris ve vektör işlemlerini destekliyor, FP32, TF32 ve FP16 desteğini kaldırıyor. Performans açısından, Intel Gaudi 3'ün 1856 BF16/FP8 matris TFLOPS ve 28. 7 BF16 vektör TFLOPS'a kadar ulaşabileceğini iddia ediyor ve yaklaşık 600W TDP'de çalışıyor. Kağıt üzerinde Nvidia'nın H100'üyle karşılaştırıldığında, Gaudi 3 biraz daha düşük BF16 matris performansı (1, 856 vs. 1, 979 TFLOPS), yarı FP8 matris performansı (1, 856 vs.

3, 958 TFLOPS) ve önemli ölçüde azalan BF16 vektör performansı (28. 7 vs. 1, 979 TFLOPS) gösteriyor. Ancak, teknik özelliklerin ötesinde, Gaudi 3'ün gerçek dünyadaki performansı oldukça kritik olacak. AMD'nin Instinct MI300 serisi ve Nvidia'nın H100 ve B100/B200 işlemcileri ile rekabet etmesi gerekecek. Bu rekabet, henüz tam olarak değerlendirilmemiş olan yazılım performansı ve diğer değişkenlere dayanıyor. Şu anda, Intel, Gaudi 3'ün Nvidia'nın H100'üne kıyasla önemli bir fiyat/performans avantajı sağlayabileceğini öne süren slaytlar paylaştı. Bu yılın başlarında, Intel, tek bir tabanda sekiz Gaudi 3 işlemci içeren tam bir hızlandırıcı kitinin 125. 000 $ olarak fiyatlandırılacağını, bu da işlemci başına maliyetin yaklaşık 15. 625 $ olduğunu duyurdu. Buna karşın, bir Nvidia H100 kartı yaklaşık 30. 678 $'a satılıyor, bu da Intel'in rakibine göre önemli bir fiyatlandırma avantajı planını gösteriyor. Ancak, Nvidia'nın Blackwell tabanlı B100/B200 GPU'larının önemli performans faydaları sunabilir olması nedeniyle, Intel'in rekabet avantajını sürdürebileceği belirsizliğini koruyor.