**NVIDIA Παρουσιάζει το NVIDIA Dynamo: Επαναστατώντας την AI Αξιολόγηση** Στο GTC, η NVIDIA παρουσίασε το NVIDIA Dynamo, ένα λογισμικό αξιολόγησης ανοιχτού κώδικα που έχει σχεδιαστεί για να βελτιώνει την αποτελεσματικότητα και την κλιμάκωση των μοντέλων λογικής AI, ελαχιστοποιώντας παράλληλα τα κόστη. Καθώς η λογική AI γίνεται όλο και πιο διαδεδομένη, η βελτιστοποίηση των αιτημάτων αξιολόγησης σε μια φleet από GPUs είναι ζωτικής σημασίας για την μεγιστοποίηση των εσόδων. Το Dynamo, διάδοχος του NVIDIA Triton Inference Server™, ενισχύει σημαντικά την απόδοση, διπλασιάζοντας τα έσοδα για εργοστάσια AI που χρησιμοποιούν μοντέλα Llama στην πλατφόρμα NVIDIA Hopper™. Όταν εκτελεί το μοντέλο DeepSeek-R1 σε ένα μεγάλο σύνολο, οι βελτιστοποιήσεις του Dynamo αυξάνουν την παραγωγή tokens κατά περισσότερο από 30 φορές ανά GPU. Κύρια χαρακτηριστικά του Dynamo περιλαμβάνουν την ικανότητα δυναμικής διαχείρισης της κατανομής των GPUs ανάλογα με τη ζήτηση, την αποθήκευση δεδομένων σε οικονομικά αποδοτικές μονάδες, και τη βελτιστοποίηση της χρήσης πόρων μέσω αποδοτικής εξυπηρέτησης—όπου η επεξεργασία και η παραγωγή απόκρισης συμβαίνουν σε διαφορετικές GPUs. Αυτή η προσέγγιση βελτιώνει την απόδοση για μοντέλα όπως η νέα οικογένεια Llama Nemotron της NVIDIA, βελτιώνοντας τους χρόνους απόκρισης μέσω ανεξάρτητης βελτιστοποίησης. Το NVIDIA Dynamo στοχεύει στη στήριξη της εκτενούς κλιμάκωσης AI αξιολόγησης για διάφορες επιχειρήσεις, συμπεριλαμβανομένων των AWS, Google Cloud και άλλων, διευκολύνοντας την υιοθέτηση μοντέλων AI.

Με στοιχεία όπως ένας GPU Planner για τη διαχείριση πόρων, ένας Smart Router για τη μείωση περιττών υπολογισμών και μια προηγμένη Βιβλιοθήκη Επικοινωνίας Χαμηλής Καθυστέρησης, το Dynamo απλοποιεί τη διαδικασία αξιολόγησης. Αυτή η τεχνολογικά προηγμένη πλατφόρμα όχι μόνο ενισχύει την αποτελεσματικότητα αλλά και οδηγεί σε σημαντική εξοικονόμηση κόστους, ευθυγραμμίζοντας τις μελλοντικές ανάγκες της προσαρμοσμένης AI λογικής. Η NVIDIA σχεδιάζει να ενσωματώσει το Dynamo στις μικροϋπηρεσίες NIM™ και στην πλατφόρμα λογισμικού NVIDIA AI Enterprise, που υπόσχεται ασφάλεια και υποστήριξη επιπέδου παραγωγής. Η NVIDIA συνεχίζει να ηγείται στον τομέα της επιταχυνόμενης υπολογιστικής, υποστηριγμένη από μια δυναμική γκάμα εξελίξεων στις τεχνολογίες AI. Περισσότερες πληροφορίες είναι διαθέσιμες μέσω της κεντρικής ομιλίας στο NVIDIA GTC και συγκεκριμένων συνεδριών σχετικά με το Dynamo.