**NVIDIA Uvodi NVIDIA Dynamo: Revolucija u AI Inferenciji** Na GTC-u, NVIDIA je predstavila NVIDIA Dynamo, open-source softver za inferenciju koji je dizajniran da poboljša efikasnost i skalabilnost modela AI rezonovanja uz minimalizaciju troškova. Kako AI rezonovanje postaje sve prisutnije, optimizacija zahteva za inferenciju preko flote GPU-a je ključna za maksimizaciju prihoda. Dynamo, naslednik NVIDIA Triton Inference Server™, značajno poboljšava performanse, duplirajući prihode za AI fabrike koje koriste Llama modele na NVIDIA Hopper™ platformi. Kada se pokreće model DeepSeek-R1 na velikom klasteru, optimizacije u Dynamu povećavaju generaciju tokena više od 30 puta po GPU-u. Ključne karakteristike Dynamoa uključuju mogućnost dinamičkog upravljanja alokacijom GPU-a na osnovu potražnje, premeštanje podataka u ekonomične skladišne resurse i optimizaciju korišćenja resursa putem disaggregated serving—gde se obrada i generisanje odgovora odvijaju na različitim GPU-ima. Ovaj pristup poboljšava performanse za modele kao što je nova Llama Nemotron porodica, poboljšavajući vreme odgovora preko nezavisne optimizacije. NVIDIA Dynamo ima za cilj da podrži široku skalabilnost AI inferencije za razne kompanije, uključujući AWS, Google Cloud i druge, olakšavajući usvajanje AI modela.

Sa komponentama kao što su GPU planer za upravljanje resursima, pametni ruter za minimizaciju redundantnih proračuna i napredna biblioteka za komunikaciju sa niskom latencijom, Dynamo pojednostavljuje proces inferencije. Ova tehnološki napredna platforma ne samo da poboljšava efikasnost, već takođe stvara značajne uštede, usklađujući se sa budućim potrebama prilagođenog AI rezonovanja. NVIDIA planira da integriše Dynamo u svoje NIM™ mikroservise i NVIDIA AI Enterprise softversku platformu, koja obećava sigurnost i podršku na nivou proizvodnje. NVIDIA nastavlja da prednjači u akcelerisanom računarstvu, podržana dinamičnim rasponom razvoja u AI tehnologijama. Više informacija je dostupno preko NVIDIA GTC glavnog izlaganja i specifičnih sesija o Dynamu.