Pruna AI, európsky startup zameraný na vývoj kompresných algoritmov pre AI modely, spúšťa svoj optimalizačný rámec ako open source tento štvrtok. Spoločnosť navrhla rámec, ktorý implementuje rôzne techniky efektívnosti, vrátane cacheovania, orezávania, kvantizácie a destilácie, na efektívnu optimalizáciu AI modelov. „Náš rámec štandardizuje proces ukladania a načítania komprimovaných modelov, kombinuje tieto kompresné techniky a hodnotí výkon vášho komprimovaného modelu po optimalizácii, “ povedal John Rachwan, spoluzakladateľ a CTO Pruna AI, v rozhovore pre TechCrunch. Konkrétne rámec Pruna AI vie posúdiť, či po kompresii modelu nastáva výrazná strata kvality a aké výkonnostné zlepšenia boli dosiahnuté. „Použijúc metaforu, sme podobní Hugging Face, pokiaľ ide o štandardizáciu transformátorov a difuzérov — určujeme, ako ich volať, ukladať a načítavať atď. Robíme to isté pre metódy efektívnosti, “ poznamenal. Hlavné AI laboratóriá už využívajú rôzne kompresné techniky. Napríklad OpenAI použil destiláciu na vyvinutie rýchlejších iterácií svojich základných modelov. Tento prístup pravdepodobne prispel k vytvoreniu GPT-4 Turbo, rýchlejšej verzie GPT-4. Model generovania obrázkov Flux. 1-schnell je ďalším príkladom, slúžiacim ako destilovaná varianta modelu Flux. 1 z Black Forest Labs. Destilácia zahŕňa extrahovanie vedomostí z väčšieho AI modelu prostredníctvom rámca „učiteľ-študent“. Vývojári posielajú požiadavky učiteľskému modelu a zachytávajú výstupy. Tieto odpovede sa potom môžu porovnať s dátovou sadou na presnosť, čo usmerňuje tréning študentského modelu, aby napodobnil správanie učiteľa. „Pre veľké spoločnosti typicky vyvíjajú tieto riešenia vo vlastných priestoroch. V open-source komunite často nájdete nástroje zamerané na jednotlivé metódy, ako je jedna kvantizačná technika pre veľké jazykové modely alebo jeden prístup k caching pre difúzne modely, “ vysvetlil Rachwan. „Avšak chýbajú komplexné nástroje, ktoré integrujú a zjednodušujú všetky tieto metódy.

To je kľúčová výhoda, ktorú Pruna ponúka. “ Aj keď Pruna AI podporuje akékoľvek typy modelov — od veľkých jazykových modelov po difúzne modely, systémy prevodu reči na text a aplikácie počítačového videnia — spoločnosť momentálne kladie väčší dôraz na modely generovania obrázkov a videí. Medzi súčasných klientov Pruna AI patrí Scenario a PhotoRoom. Okrem open-source verzie Pruna AI ponúka podnikové riešenie s pokročilými optimalizačnými schopnosťami, vrátane optimalizačného agenta. „Najvzrušujúcejšou funkciou, ktorú čoskoro vydáme, je kompresný agent, “ prezradil Rachwan. „Jednoducho poskytnete svoj model a určíte: 'Potrebujem viac rýchlosti bez toho, aby som obetoval presnosť viac ako o 2 %. ' Agent potom vykoná svoj zázrak, určí najlepšiu kombináciu a predstaví vám ju bez toho, aby ste museli vykonať akúkoľvek ďalšiu prácu. “ Pruna AI si účtuje na hodinu za svoju profesionálnu verziu. „Je to porovnateľné s prenájmom GPU na AWS alebo iných cloudových službách, “ dodal Rachwan. Ak je váš model kľúčovým prvkom vašej AI infraštruktúry, jeho optimalizácia môže viesť k značným úsporám na inferencii. Napríklad Pruna AI znížila veľkosť Llama modelu o osemkrát s minimálnou stratou prostredníctvom svojho kompresného rámca. Spoločnosť sa snaží, aby klienti vnímali jej kompresný rámec ako sebestačnú investíciu. Nedávno Pruna AI dokončila kolo financovania seed a získala 6, 5 milióna dolárov. Medzi významných investorov patrí EQT Ventures, Daphni, Motier Ventures a Kima Ventures.