**NVIDIA Memperkenalkan NVIDIA Dynamo: Merevolusi Inferens AI** Di GTC, NVIDIA melancarkan NVIDIA Dynamo, perisian inferens sumber terbuka yang direka untuk mempertingkatkan kecekapan dan kebolehkendalian model pemikiran AI sambil mengurangkan kos. Dengan penyebaran pemikiran AI yang semakin meluas, mengoptimumkan permintaan inferens di seluruh kumpulan GPU adalah penting untuk memaksimumkan pendapatan. Dynamo, pengganti kepada NVIDIA Triton Inference Server™, secara ketara meningkatkan prestasi, menggandakan pendapatan untuk kilang AI yang menggunakan model Llama di platform NVIDIA Hopper™. Apabila menjalankan model DeepSeek-R1 pada kluster besar, pengoptimuman Dynamo meningkatkan penghasilan token lebih daripada 30 kali setiap GPU. Ciri utama Dynamo termasuk kemampuan untuk mengurus pengagihan GPU secara dinamik berdasarkan permintaan, memindahkan data ke penyimpanan yang kos efektif, dan mengoptimumkan penggunaan sumber melalui penyajian terpisah—di mana pemprosesan dan penjanaan respons berlaku pada GPU yang berbeza. Pendekatan ini meningkatkan prestasi model seperti keluarga Llama Nemotron yang baru dari NVIDIA, dengan meningkatkan masa respons melalui pengoptimuman yang bebas. NVIDIA Dynamo bertujuan untuk menyokong penskalaan inferens AI yang luas untuk pelbagai syarikat, termasuk AWS, Google Cloud, dan lain-lain, memudahkan penerimaan model AI.

Dengan komponen seperti Perancang GPU untuk mengurus sumber, Penghala Pintar untuk meminimumkan pengiraan berulang, dan Perpustakaan Komunikasi Rendah-Latensi yang canggih, Dynamo memperkemaskan proses inferens. Platform yang canggih ini bukan sahaja meningkatkan kecekapan tetapi juga mendorong penjimatan kos yang ketara, sejajar dengan keperluan masa depan bagi AI pemikiran khusus. NVIDIA merancang untuk mengintegrasikan Dynamo ke dalam mikroservis NIM™ dan platform perisian NVIDIA AI Enterprise, yang menjanjikan keselamatan dan sokongan tahap pengeluaran. NVIDIA terus memimpin dalam pengkomputeran yang dipercepat, disokong oleh pelbagai perkembangan dinamik dalam teknologi AI. Maklumat lanjut boleh didapati melalui ucaptama NVIDIA GTC dan sesi khusus mengenai Dynamo.