**NVIDIA Introduce NVIDIA Dynamo: Rivoluzionando l'Inferenza AI** Durante il GTC, NVIDIA ha lanciato NVIDIA Dynamo, un software di inferenza open-source progettato per migliorare l'efficienza e la scalabilità dei modelli di ragionamento AI mantenendo contenuti i costi. Man mano che il ragionamento AI diventa più diffuso, ottimizzare le richieste di inferenza su una flotta di GPU è essenziale per massimizzare i ricavi. Dynamo, il successore di NVIDIA Triton Inference Server™, aumenta significativamente le prestazioni, raddoppiando i ricavi per le fabbriche AI che utilizzano modelli Llama sulla piattaforma NVIDIA Hopper™. Quando viene eseguito il modello DeepSeek-R1 su un ampio cluster, le ottimizzazioni di Dynamo incrementano la generazione di token di oltre 30 volte per GPU. Le caratteristiche principali di Dynamo includono la capacità di gestire dinamicamente l'allocazione delle GPU in base alla domanda, di trasferire i dati a storage economici e di ottimizzare l'utilizzo delle risorse attraverso l'erogazione disaggregata, in cui l'elaborazione e la generazione della risposta avvengono su GPU diverse. Questo approccio migliora le prestazioni per modelli come la nuova famiglia Llama Nemotron di NVIDIA, migliorando i tempi di risposta tramite un'ottimizzazione indipendente. NVIDIA Dynamo mira a supportare una scalabilità estesa dell'inferenza AI per diverse imprese, tra cui AWS, Google Cloud e altri, facilitando l'adozione dei modelli AI.

Con componenti come un Piano GPU per gestire le risorse, un Router Intelligente per ridurre i calcoli ridondanti e una Libreria Avanzata di Comunicazione a Bassa Latenza, Dynamo semplifica il processo di inferenza. Questa piattaforma tecnologicamente avanzata non solo migliora l'efficienza, ma genera anche significativi risparmi sui costi, allineandosi con le future esigenze dell'AI personalizzata. NVIDIA prevede di integrare Dynamo nei suoi microservizi NIM™ e nella piattaforma software NVIDIA AI Enterprise, che promette sicurezza e supporto di qualità produzione. NVIDIA continua a guidare nel calcolo accelerato, supportata da una gamma dinamica di sviluppi nelle tecnologie AI. Maggiori informazioni sono disponibili tramite il keynote di NVIDIA GTC e sessioni specifiche su Dynamo.