Pruna AI, una startup europea focalizzata sullo sviluppo di algoritmi di compressione per modelli di intelligenza artificiale, lancerà il suo framework di ottimizzazione come open source questo giovedì. L'azienda ha progettato un framework che implementa diverse tecniche di efficienza, tra cui caching, potatura, quantizzazione e distillazione, per ottimizzare efficacemente i modelli di AI. “Il nostro framework standardizza il processo di salvataggio e caricamento di modelli compressi, combina queste tecniche di compressione e valuta le prestazioni del tuo modello compresso dopo l'ottimizzazione”, ha dichiarato John Rachwan, co-fondatore e CTO di Pruna AI, in un'intervista con TechCrunch. In particolare, il framework di Pruna AI può valutare se si verifica una perdita di qualità significativa dopo la compressione di un modello e i miglioramenti delle prestazioni raggiunti. “Per usare una metafora, siamo simili a Hugging Face in termini di standardizzazione di transformer e diffusori — definendo come chiamarli, salvarli e caricarli, ecc. Stiamo facendo lo stesso per i metodi di efficienza”, ha osservato. I principali laboratori di AI stanno già sfruttando varie tecniche di compressione. Ad esempio, OpenAI ha utilizzato la distillazione per sviluppare iterazioni più veloci dei suoi modelli principali. Questo approccio ha probabilmente contribuito alla creazione di GPT-4 Turbo, una versione più veloce di GPT-4. Il modello di generazione di immagini Flux. 1-schnell è un altro esempio, fungendo da variante distillata del modello Flux. 1 di Black Forest Labs. La distillazione implica l'estrazione di conoscenze da un modello di AI maggiore attraverso un framework "insegnante-studente". Gli sviluppatori inviano richieste a un modello insegnante e catturano le uscite. Queste risposte possono poi essere confrontate con un dataset per verificarne l'accuratezza, guidando l’addestramento del modello studente per emulare il comportamento dell'insegnante. “Per le grandi aziende, tipicamente sviluppano queste soluzioni internamente. Nella comunità open-source, si trovano spesso strumenti focalizzati su singoli metodi, come una tecnica di quantizzazione per i modelli linguistici di grandi dimensioni o un metodo di caching per i modelli di diffusione, ” ha spiegato Rachwan. “Tuttavia, c'è una mancanza di strumenti completi che integrino e semplifichino tutti questi metodi.

Questo è il principale vantaggio che Pruna offre. ” Mentre Pruna AI supporta tutti i tipi di modelli — che spaziano dai modelli linguistici di grandi dimensioni ai modelli di diffusione, dai sistemi di riconoscimento vocale a quelli di visione computerizzata — l'azienda sta attualmente ponendo maggiore enfasi sui modelli di generazione di immagini e video. Tra i clienti attuali di Pruna AI ci sono Scenario e PhotoRoom. Oltre alla versione open-source, Pruna AI offre una soluzione enterprise con capacità di ottimizzazione avanzate, incluso un agente di ottimizzazione. “La caratteristica più entusiasmante che rilasceremo a breve è un agente di compressione, ” ha rivelato Rachwan. “Basta fornire il tuo modello e specificare: ‘Ho bisogno di più velocità senza sacrificare l’accuratezza di oltre il 2%. ’ L'agente esegue quindi la sua magia, determinando la migliore combinazione e presentandola a te senza alcun lavoro aggiuntivo richiesto dal sviluppatore. ” Pruna AI addebita per ora nella sua versione professionale. “È paragonabile all’affitto di una GPU su AWS o altri servizi cloud, ” ha aggiunto Rachwan. Se il tuo modello è un elemento critico della tua infrastruttura AI, ottimizzarlo può portare a significativi risparmi sui costi di inferenza. Ad esempio, Pruna AI ha ridotto la dimensione di un modello Llama di otto volte con una perdita minima attraverso il suo framework di compressione. L'azienda aspira a far sì che i clienti vedano il suo framework di compressione come un investimento autosostenibile. Recentemente, Pruna AI ha completato un round di finanziamento seed, raccogliendo 6, 5 milioni di dollari. Gli investitori notabili includono EQT Ventures, Daphni, Motier Ventures e Kima Ventures.