**NVIDIA Uvodi NVIDIA Dynamo: Revolucija u AI Inference-u** Na GTC-u, NVIDIA je predstavila NVIDIA Dynamo, softver za inference otvorenog koda osmišljen za poboljšanje efikasnosti i skalabilnosti AI modela razmišljanja, uz smanjenje troškova. Kako AI razmišljanje postaje sve prisutnije, optimizacija zahteva za inference kroz skup GPU-a je ključna za maksimiziranje prihoda. Dynamo, naslednik NVIDIA Triton Inference Server™, značajno povećava performanse, udvostručujući prihode za AI fabrike koje koriste Llama modele na NVIDIA Hopper™ platformi. Kada se model DeepSeek-R1 pokreće na velikom klasteru, optimizacije Dynamo-a povećavaju generaciju tokena više od 30 puta po GPU-u. Glavne karakteristike Dynamo-a uključuju mogućnost dinamičkog upravljanja alokacijom GPU-a prema potražnji, prebacivanje podataka na isplativu pohranu i optimizaciju korišćenja resursa kroz disaggregiranu uslugu—gde se procesiranje i generisanje odgovora odvijaju na različitim GPU-ima. Ovaj pristup poboljšava performanse za modele poput nove Llama Nemotron porodice, poboljšavajući vreme odgovora nezavisnom optimizacijom. NVIDIA Dynamo ima za cilj podršku širokoj skalabilnosti AI inference-a za različite kompanije, uključujući AWS, Google Cloud i druge, olakšavajući usvajanje AI modela.

Sa komponentama kao što su GPU planer za upravljanje resursima, pametni usmerivač za minimiziranje redundantnih proračuna i napredna biblioteka za komunikaciju sa niskim latencijama, Dynamo pojednostavljuje proces inference-a. Ova tehnološki napredna platforma ne samo da poboljšava efikasnost, već i donosi značajne uštede troškova, usklađujući se sa budućim potrebama prilagođenog AI razmišljanja. NVIDIA planira da integriše Dynamo u svoje NIM™ mikroservise i NVIDIA AI Enterprise softversku platformu, koja obećava sigurnost i podršku na nivou produkcije. NVIDIA nastavlja da prednjači u ubrzanom računarstvu, uz podršku dinamičnom spektru razvoja u AI tehnologijama. Više informacija je dostupno putem NVIDIA GTC ključne reči i specifičnih sesija o Dynamo-u.