Η Pruna AI, μια ευρωπαϊκή startup που επικεντρώνεται στην ανάπτυξη αλγορίθμων συμπίεσης για μοντέλα AI, θα λανσάρει το πλαίσιο βελτιστοποίησής της ως ανοιχτού κώδικα την Πέμπτη. Η εταιρεία έχει σχεδιάσει ένα πλαίσιο που εφαρμόζει διάφορες τεχνικές αποδοτικότητας, όπως είναι η αποθήκευση (caching), η κλάδευση (pruning), η ποσοτικοποίηση (quantization) και η απόσταξη (distillation), για να βελτιστοποιήσει αποτελεσματικά τα μοντέλα AI. "Το πλαίσιο μας τυποποιεί τη διαδικασία αποθήκευσης και φόρτωσης συμπιεσμένων μοντέλων, συνδυάζει αυτές τις τεχνικές συμπίεσης και αξιολογεί την απόδοση του συμπιεσμένου μοντέλου σας μετά τη βελτιστοποίηση, " δήλωσε ο John Rachwan, συνιδρυτής και CTO της Pruna AI, σε συνέντευξή του στο TechCrunch. Συγκεκριμένα, το πλαίσιο της Pruna AI μπορεί να αξιολογήσει αν υπάρχει σημαντική απώλεια ποιότητας μετά τη συμπίεση ενός μοντέλου και τις βελτιώσεις στην απόδοση που επιτυγχάνονται. "Για να χρησιμοποιήσουμε μια μεταφορά, είμαστε παρόμοιοι με την Hugging Face όσον αφορά την τυποποίηση των transformers και των diffusers — καθορίζοντας πώς θα τα ονομάζουμε, θα τα αποθηκεύουμε και θα τα φορτώνουμε, κ. λπ. Κάνουμε το ίδιο για τις μεθόδους αποδοτικότητας, " σημείωσε. Μεγάλα εργαστήρια AI ήδη εκμεταλλεύονται διάφορες τεχνικές συμπίεσης. Για παράδειγμα, η OpenAI έχει χρησιμοποιήσει την απόσταξη για να αναπτύξει ταχύτερους κύκλους των βασικών της μοντέλων. Αυτή η προσέγγιση πιθανότατα συνέβαλε στη δημιουργία του GPT-4 Turbo, μιας ταχύτερης έκδοσης του GPT-4. Το μοντέλο παραγωγής εικόνας Flux. 1-schnell είναι ένα ακόμη παράδειγμα, λειτουργώντας ως μια αποσταγμένη παραλλαγή του μοντέλου Flux. 1 από τα Black Forest Labs. Η απόσταξη περιλαμβάνει την εξαγωγή γνώσεων από ένα μεγαλύτερο μοντέλο AI μέσω ενός πλαισίου "δασκάλου-μαθητή". Οι προγραμματιστές υποβάλλουν αιτήματα σε ένα μοντέλο δασκάλου και καταγράφουν τις εξόδους. Αυτές οι απαντήσεις μπορεί στη συνέχεια να συγκριθούν με ένα σύνολο δεδομένων για ακρίβεια, καθοδηγώντας την εκπαίδευση του μοντέλου μαθητή ώστε να μιμείται τη συμπεριφορά του δασκάλου. "Για μεγάλες εταιρείες, συνήθως αναπτύσσουν αυτές τις λύσεις εσωτερικά. Στην κοινότητα ανοικτού κώδικα, συχνά βρίσκουμε εργαλεία που εστιάζουν σε μεμονωμένες μεθόδους, όπως μία τεχνική ποσοτικοποίησης για μεγάλα γλωσσικά μοντέλα ή μία προσέγγιση αποθήκευσης για μοντέλα διάχυσης, " εξήγησε ο Rachwan. "Ωστόσο, υπάρχει έλλειψη ολοκληρωμένων εργαλείων που να ενσωματώνουν και να απλουστεύουν όλες αυτές τις μεθόδους.

Αυτό είναι το βασικό όφελος που προσφέρει η Pruna. " Ενώ η Pruna AI υποστηρίζει οποιονδήποτε τύπο μοντέλου—από μεγάλα γλωσσικά μοντέλα μέχρι μοντέλα διάχυσης, συστήματα μεταγραφής ομιλίας και εφαρμογές υπολογιστικής όρασης—η εταιρεία αυτή τη στιγμή δίνει μεγαλύτερη έμφαση σε μοντέλα παραγωγής εικόνας και βίντεο. Μεταξύ των τρεχουσών πελατών της Pruna AI είναι οι Scenario και PhotoRoom. Εκτός από την έκδοση ανοικτού κώδικα, η Pruna AI προσφέρει μια λύση για επιχειρήσεις με προηγμένες δυνατότητες βελτιστοποίησης, συμπεριλαμβανομένου ενός πράκτορα βελτιστοποίησης. "Η πιο συναρπαστική δυνατότητα που θα κυκλοφορήσουμε σύντομα είναι ένας πράκτορας συμπίεσης, " αποκάλυψε ο Rachwan. "Απλώς παρέχετε το μοντέλο σας και καθορίζετε, 'Χρειάζομαι περισσότερη ταχύτητα χωρίς να θυσιάσω την ακρίβεια περισσότερο από 2%. ' Ο πράκτορας στη συνέχεια εκτελεί τη μαγεία του, καθορίζοντας τον καλύτερο συνδυασμό και σας το παρουσιάζει χωρίς να απαιτείται καμία επιπλέον εργασία από τον προγραμματιστή. " Η Pruna AI χρεώνει ανά ώρα για την επαγγελματική της έκδοση. "Είναι συγκρίσιμο με την ενοικίαση μιας GPU σε AWS ή άλλες υπηρεσίες cloud, " πρόσθεσε ο Rachwan. Αν το μοντέλο σας είναι ένα κρίσιμο στοιχείο της υποδομής AI σας, η βελτιστοποίησή του μπορεί να οδηγήσει σε σημαντικές εξοικονομήσεις κόστους στην εκτέλεση. Για παράδειγμα, η Pruna AI έχει μειώσει το μέγεθος ενός μοντέλου Llama κατά οκτώ φορές με ελάχιστη απώλεια μέσω του πλαισίου συμπίεσής της. Η εταιρεία επιδιώκει οι πελάτες να δουν το πλαίσιο συμπίεσής της ως μια αυτοχρηματοδοτούμενη επένδυση. Πρόσφατα, η Pruna AI ολοκλήρωσε έναν γύρο συγκέντρωσης κεφαλαίων εκκίνησης, αντλώντας 6, 5 εκατομμύρια δολάρια. Σημαντικοί επενδυτές περιλαμβάνουν τους EQT Ventures, Daphni, Motier Ventures και Kima Ventures.