**NVIDIA Esitleb NVIDIA Dynamo: AI Järelduste Revolutsioon** GTC-l esitles NVIDIA NVIDIA Dynamo't, avatud lähtekoodiga järeldusprogrammi, mille eesmärk on suurendada AI mõtlemismudelite efektiivsust ja skaleeritavust, vähendades samal ajal kulusid. Kuna AI mõtlemine muutub üha laiemalt levinud, on järeldusosaluste optimeerimine GPU-de flotille äärmiselt oluline tulude maksimeerimise jaoks. Dynamo, NVIDIA Triton Inference Server™ järgija, suurendab jõudlust märkimisväärselt, kahekordistades tulu AI tehastes, mis kasutavad Llama mudeleid NVIDIA Hopper™ platvormil. Suurel klastri DeepSeek-R1 mudeli töötamisel suurendavad Dynamo optimeerimised tokenite genereerimist enam kui 30 korda iga GPU kohta. Dynamo peamised omadused hõlmavad võimalust dünaamiliselt hallata GPU jaotust nõudluse põhjal, andmete ülekandmist kulutõhusasse salvestusse ja ressursside kasutuse optimeerimist läbi jaotamata teenindamise—kus töötlemine ja vastuse genereerimine toimuvad erinevates GPU-des. See lähenemine parandab jõudlust sellistele mudelitele nagu NVIDIA uus Llama Nemotroni perekond, parandades vastamise aegu sõltumatu optimeerimise kaudu. NVIDIA Dynamo eesmärk on toetada ulatuslikku AI järelduste skaleerimist erinevates ettevõtetes, sealhulgas AWS, Google Cloud ja teised, hõlbustades AI mudelite kasutuselevõttu.

Komponendid nagu GPU planeerija ressursside haldamiseks, nutikas marsruuter ülemääraste arvutuste vähendamiseks ja täiustatud madala latentsusega kommunikatsiooniraamatukogu aitavad Dynamo'l järeldusprotsessi sujuvamaks muuta. See tehnoloogiliselt arenenud platvorm mitte ainult ei paranda efektiivsust, vaid toob kaasa ka märkimisväärseid kulude kokkuhoidu, vastates kohandatud mõtlemise AI tuleviku vajadustele. NVIDIA kavatseb integreerida Dynamo oma NIM™ mikroteenustesse ja NVIDIA AI Enterprise tarkvaraplatvormi, mis lubab tootmisvalmis turvalisust ja tuge. NVIDIA jätkab juhtimist kiirendatud arvutamisel, toetatuna dünaamilisest arengust AI tehnoloogiates. Lisainfot on saadaval NVIDIA GTC võtmeettekande ja eriliste sessioonide kaudu Dynamo kohta.