Pruna AI, Euroopa idufirma, mis keskendub AI mudelite tihendamisalgoritmide arendamisele, käivitab oma optimeerimisse raami avatud lähtekoodina sel neljapäeval. Ettevõte on loonud raamistik, mis rakendab erinevaid efektiivsuse tehnikaid, sealhulgas vahemälu, kärpimist, kvantimist ja destilleerimist, et efektiivselt optimeerida AI mudeleid. „Meie raamistik standardiseerib tihendatud mudelite salvestamise ja laadimise protsessi, ühendab neid tihendustehnikaid ning hindab teie tihendatud mudeli jõudlust pärast optimeerimist, ” ütles Pruna AI kaasasutaja ja CTO John Rachwan TechCrunchile antud intervjuus. Konkreetsemalt suudab Pruna AI raamistik hinnata, kas mudeli tihendamisel toimub olulisi kvaliteedikadu ja millised on saavutatud jõudluse parandused. „Metafora kasutades, oleme sarnased Hugging Face’iga, kui rääkida transformaatorite ja diffuuserite standardiseerimisest – kehtestades, kuidas neid nimetada, salvestada ja laadida jne. Me teeme sama efektiivsuse meetodite jaoks, ” märkis ta. Suured AI laborid kasutavad juba erinevaid tihendustehnikaid. Näiteks on OpenAI kasutanud destilleerimist, et arendada oma tuumamudelite kiiremaid iteratsioone. See lähenemine on tõenäoliselt aidanud luua GPT-4 Turbo, kiirem versioon GPT-4-st. Flux. 1-schnell piltide genereerimise mudel on veel üks näide, olles distilleeritud variatsioon Black Forest Labsi Flux. 1 mudelist. Destilleerimine hõlmab teadmiste eraldamist suuremast AI mudelist „õpetaja-õpilane” raamistikus. Arendajad saadavad päringud õpetaja mudelile ja salvestavad väljundid. Nende vastuseid saab seejärel võrrelda andmestikuga täpsuse osas, suunates õpilasmudeli koolitust, et imiteerida õpetaja käitumist. „Suurte ettevõtete puhul arendavad nad tavaliselt neid lahendusi siseiselt. Avatud lähtekoodiga kogukonnas leidub sageli tööriistu, mis keskenduvad ühele meetodile, nagu üks kvantimistehnika suurte keelemudelite jaoks või üks vahemälu lähenemine difusioonimudelite jaoks, ” selgitas Rachwan. „Siiski puuduvad ulatuslikud tööriistad, mis integreerivad ja lihtsustavad kõiki neid meetodeid.

See on peamine eelis, mida Pruna pakub. ” Kuigi Pruna AI toetab igasuguseid mudeleid – alates suurtest keelemudelitest kuni difusioonimudelite, kõne-tähestik süsteemide ja arvutinägemise rakendusteni, pöörab ettevõte praegu suuremat tähelepanu piltide ja videote genereerimise mudelitele. Pruna AI praeguste klientide hulka kuuluvad Scenario ja PhotoRoom. Lisaks avatud lähtekoodiga versioonile pakub Pruna AI ettevõtluslahendust, millel on täiustatud optimeerimisvõimekused, sealhulgas optimeerimisagent. „Kõige põnevam funktsioon, mida peagi välja toome, on tihendamisagent, ” avaldas Rachwan. „Te annate lihtsalt oma mudeli ja täpsustate: 'Vajan rohkem kiirus ilma täpsust rohkem kui 2% kaotamata. ' Agent siis teeb oma imet, määrates parima kombinatsiooni ja esitades selle teile ilma, et arendaja peaks täiendavat tööd tegema. ” Pruna AI küsib oma professionaalse versiooni eest tasu tundide kaupa. „See on võrreldav GPU rentimisega AWS-is või teistes pilveteenustes, ” lisas Rachwan. Kui teie mudel on teie AI infrastruktuuri oluline element, võib selle optimeerimine tuua kaasa olulisi kokkuhoidu tõlgendamisel. Näiteks on Pruna AI vähendanud Llama mudeli suurust kaheksa korda minimaalse kadu abil oma tihendusraamistikuga. Ettevõte soovib, et kliendid vaataksid oma tihendusraamistiku peale iseseisva investeeringuna. Hiljuti lõpetas Pruna AI seemne rahastamisringi, kogudes 6, 5 miljonit dollarit. Tähtsad investorid hõlmavad EQT Ventures, Daphni, Motier Ventures ja Kima Ventures.