**NVIDIA predstavuje NVIDIA Dynamo: Revolúcia v AI inferencii** Na GTC spoločnosť NVIDIA uviedla NVIDIA Dynamo, open-source softvér na inferenciu navrhnutý na zvýšenie efektívnosti a škálovateľnosti modelov AI uvažovania pri minimalizovaní nákladov. Ako sa AI uvažovanie stáva čoraz bežnejším, optimalizácia požiadaviek na inferenciu naprieč flotilou GPU je zásadná pre maximalizáciu príjmov. Dynamo, nástupca NVIDIA Triton Inference Server™, výrazne zvyšuje výkon, pričom zdvojnásobuje príjmy pre AI továrne používajúce modely Llama na platforme NVIDIA Hopper™. Pri spúšťaní modelu DeepSeek-R1 na veľkom clustri optimalizácie Dynamu zvyšujú generovanie tokenov viac než 30-násobne na GPU. Kľúčové vlastnosti Dynamu zahŕňajú schopnosť dynamicky spravovať alokáciu GPU na základe dopytu, prenášanie dát do nákladovo efektívneho úložiska a optimalizáciu využitia zdrojov prostredníctvom disaggregated serving – kde sa spracovanie a generovanie odpovedí uskutočňuje na rôznych GPU. Tento prístup zvyšuje výkon pre modely, ako je nová rodina Llama Nemotron od NVIDIA, a zlepšuje čas odpovedí prostredníctvom nezávislej optimalizácie. NVIDIA Dynamo sa snaží podporiť rozšírenú škálovateľnosť AI inferencie pre rôzne podniky, vrátane AWS, Google Cloud a ďalších, a uľahčuje prijatie AI modelov.

S komponentmi ako GPU Planner na správu zdrojov, Smart Router na minimalizáciu redundantných výpočtov a pokročilou Knižnicou pre nízku latenciu, Dynamo zjednodušuje proces inferencie. Tento technologicky pokročilý platforma nielenže zvyšuje efektivitu, ale tiež prináša značné úspory nákladov, čo zodpovedá budúcim potrebám vlastného AI uvažovania. NVIDIA plánuje integrovať Dynamo do svojich mikroslužieb NIM™ a softvérové platformy NVIDIA AI Enterprise, ktorá sľubuje zabezpečenie na úrovni produkcie a podporu. NVIDIA aj naďalej vedie v akcelerovanom výpočte, podporovaná dynamickým radom vývojov v AI technológiách. Viac informácií je k dispozícii prostredníctvom kľúčovej prednášky NVIDIA GTC a konkrétnych relácií o Dynamu.