**NVIDIA Inilunsad ang NVIDIA Dynamo: Rebolusyonaryo sa AI Inference** Sa GTC, inilunsad ng NVIDIA ang NVIDIA Dynamo, isang open-source na software para sa inference na dinisenyo upang mapahusay ang kahusayan at scalability ng mga modelo ng AI reasoning habang pinapababa ang mga gastos. Habang lumalawak ang paggamit ng AI reasoning, mahalaga ang pag-optimize ng mga inference request sa isang grupo ng mga GPU para sa pinakamataas na kita. Ang Dynamo, na kahalili ng NVIDIA Triton Inference Server™, ay lubos na nagpapabuti sa pagganap, pinapadoble ang kita para sa mga pabrika ng AI na gumagamit ng Llama models sa NVIDIA Hopper™ platform. Kapag pinapatakbo ang DeepSeek-R1 model sa isang malaking cluster, ang mga ini-optimize ng Dynamo ay nagpapataas ng generation ng token ng higit sa 30 beses bawat GPU. Kabilang sa mga pangunahing tampok ng Dynamo ang kakayahang dinamikong pamahalaan ang alokasyon ng GPU batay sa demand, pag-aalis ng data sa cost-effective na storage, at pag-optimize ng paggamit ng yaman sa pamamagitan ng disaggregated serving—kung saan ang pagproseso at pagbuo ng tugon ay nangyayari sa iba't ibang GPU. Ang pamamaraang ito ay nagpapabuti sa pagganap para sa mga modelo tulad ng bagong Llama Nemotron family ng NVIDIA, na nagpapabilis sa mga oras ng tugon sa pamamagitan ng independent optimization. Layunin ng NVIDIA Dynamo na suportahan ang malawak na scalability ng AI inference para sa iba't ibang negosyo, kabilang ang AWS, Google Cloud, at iba pa, Pinadali ang pagtanggap ng mga modelo ng AI.

Sa mga bahagi tulad ng GPU Planner upang pamahalaan ang mga yaman, isang Smart Router upang bawasan ang mga redundant computations, at isang advanced Low-Latency Communication Library, pinadali ng Dynamo ang proseso ng inference. Ang makabagong platform na ito ay hindi lamang nagpapabuti sa kahusayan kundi nagdadala rin ng makabuluhang pagtitipid sa gastos, na umaayon sa mga hinaharap na pangangailangan ng custom reasoning AI. Plano ng NVIDIA na isama ang Dynamo sa kanyang NIM™ microservices at sa NVIDIA AI Enterprise software platform, na nangangako ng production-grade security at suporta. Patuloy na nangunguna ang NVIDIA sa accelerated computing, suportado ng isang dynamic na hanay ng mga pag-unlad sa teknolohiya ng AI. Higit pang impormasyon ay magagamit sa pamamagitan ng keynote ng NVIDIA GTC at mga partikular na session sa Dynamo.