Ang Pruna AI, isang European startup na nakatuon sa pagbuo ng mga compression algorithm para sa AI models, ay maglulunsad ng kanilang optimization framework bilang open source sa Huwebes na ito. Ang kumpanya ay nagdisenyo ng isang framework na nag-iimplementa ng iba't ibang mga pamamaraan ng kahusayan, kabilang ang caching, pruning, quantization, at distillation, upang epektibong i-optimize ang mga AI model. “Ang aming framework ay nagtatakda ng mga pamantayan sa proseso ng pag-save at pag-load ng mga compressed model, pinagsasama ang mga teknik sa compression, at sinusuri ang performance ng iyong compressed model pagkatapos ng optimization, ” sabi ni John Rachwan, co-founder at CTO ng Pruna AI, sa isang panayam sa TechCrunch. Partikular, ang framework ng Pruna AI ay maaaring suriin kung may makabuluhang pagkalugi sa kalidad na nagaganap pagkatapos i-compress ang isang modelo at ang pagbuti ng performance na natamo. “Para gamitin ang isang metapora, kami ay katulad ng Hugging Face sa pag-standardize ng mga transformer at diffuser — itinatakda kung paano ito tatawagin, isasave, at iloload, atbp. Ginagawa namin ang parehong bagay para sa mga pamamaraan ng kahusayan, ” kaniyang nabanggit. Ang mga pangunahing laboratoryo ng AI ay gumagamit na ng iba't ibang teknik sa compression. Halimbawa, ang OpenAI ay gumamit ng distillation upang bumuo ng mas mabilis na bersyon ng mga pangunahing modelo nito. Ang pamamaraang ito ay tiyak na nakaambag sa paglikha ng GPT-4 Turbo, isang mas mabilis na bersyon ng GPT-4. Ang Flux. 1-schnell image generation model ay isa pang halimbawa, na nagsisilbing distilled variant ng Flux. 1 model mula sa Black Forest Labs. Ang distillation ay kinabibilangan ng pagkuha ng kaalaman mula sa mas malaking AI model sa pamamagitan ng isang "teacher-student" framework. Naglalabas ang mga developer ng mga kahilingan sa teacher model at kinukuha ang mga output. Ang mga tugon na ito ay maaaring ikumpara sa isang dataset para sa katumpakan, na nagtuturo sa training ng student model upang gayahin ang pag-uugali ng teacher. “Para sa malalaking kumpanya, karaniwan nilang binubuo ang mga solusyong ito sa loob. Sa open-source community, madalas mong makita ang mga tool na nakatuon sa iisang pamamaraan, tulad ng isang quantization technique para sa malalaking language models o isang caching approach para sa diffusion models, ” ipinaliwanag ni Rachwan. “Gayunpaman, may kakulangan ng komprehensibong mga tool na nag-iintegrate at nagpapadali sa lahat ng mga pamamaraang ito.

Ito ang pangunahing benepisyo na inaalok ng Pruna. ” Habang sinusuportahan ng Pruna AI ang alinmang uri ng modelo—mula sa malalaking language models hanggang sa diffusion models, speech-to-text systems, at computer vision applications—ang kumpanya ay kasalukuyang nagbibigay-diin sa mga modelo ng pagbuo ng larawan at video. Kabilang sa mga kasalukuyang kliyente ng Pruna AI ay ang Scenario at PhotoRoom. Bukod sa open-source na bersyon, nag-aalok ang Pruna AI ng isang enterprise solution na may mga advanced optimization capabilities, kabilang ang isang optimization agent. “Ang pinakamakabuluhang tampok na ilalabas namin sa lalong madaling panahon ay isang compression agent, ” ibinahagi ni Rachwan. “Basta't ibigay mo ang iyong modelo at tukuyin, ‘Kailangan ko ng mas maraming bilis nang hindi isinasakripisyo ang katumpakan ng higit sa 2%. ’ Ang ahente ay gagawa ng kanyang mahika, itinatakda ang pinakamahusay na kumbinasyon at iniharap ito sa iyo nang walang karagdagang trabaho mula sa developer. ” Ang Pruna AI ay naniningil ng bawat oras para sa professional version nito. “Ikinukumpara ito sa pagpapaupa ng GPU sa AWS o iba pang cloud services, ” idinagdag ni Rachwan. Kung ang iyong modelo ay isang kritikal na elemento ng iyong AI infrastructure, ang pag-optimize nito ay maaaring magdulot ng malaking pagtitipid sa gastos sa inference. Halimbawa, nabawasan ng Pruna AI ang laki ng Llama model ng walong beses na may minimal na pagkawala sa pamamagitan ng kanilang compression framework. Nais ng kumpanya na makita ng mga kliyente ang kanilang compression framework bilang isang self-sustaining investment. Kamakailan, nakumpleto ng Pruna AI ang isang seed funding round, na nakalikom ng $6. 5 milyon. Kabilang sa mga kilalang mamumuhunan ay ang EQT Ventures, Daphni, Motier Ventures, at Kima Ventures.