Pruna AI, evropski startup fokusiran na razvoj algoritama za kompresiju AI modela, lansira svoj optimizacioni okvir kao otvoreni kod ove godine u četvrtak. Kompanija je dizajnirala okvir koji implementira različite tehnike efikasnosti, uključujući keširanje, obrezivanje, kvantizaciju i destilaciju, kako bi efikasno optimizovala AI modele. „Naš okvir standardizuje proces čuvanja i učitavanja kompresovanih modela, kombinuje ove tehnike kompresije i evaluira performanse vašeg kompresovanog modela nakon optimizacije“, rekao je John Rachwan, suosnivač i CTO Pruna AI, u intervjuu za TechCrunch. Konkretno, okvir Pruna AI može proceniti da li dolazi do značajnog gubitka kvaliteta nakon kompresije modela i poboljšanja performansi koja su postignuta. „Da upotrebimo metaforu, slični smo Hugging Face-u kada je u pitanju standardizacija transformatora i difuzora – uspostavljajući kako ih zvati, čuvati i učitavati, itd. Radimo isto to za metode efikasnosti“, naglasio je. Velike AI laboratorije već koriste razne tehnike kompresije. Na primer, OpenAI je koristio destilaciju kako bi razvio brže iteracije svojih osnovnih modela. Ovaj pristup verovatno je doprineo stvaranju GPT-4 Turbo, brže verzije GPT-4. Model za generisanje slika Flux. 1-schnell je još jedan primer, služeći kao destilovana varijanta Flux. 1 modela iz Black Forest Labs. Destilacija uključuje ekstrakciju znanja iz većeg AI modela kroz „nastavnik-učenik“ okvir. Programeri iznose zahteve prema modelu nastavniku i beleže izlaze. Ovi odgovori se zatim mogu porediti sa podacima za tačnost, usmeravajući obuku modela učenika da imitira ponašanje nastavnika. „Za velike kompanije, obično razvijaju ova rešenja interno. U zajednici otvorenog koda, često pronalazite alate fokusirane na pojedinačne metode, poput jedne tehnike kvantizacije za velike jezičke modele ili jednog pristupa keširanju za difuzione modele“, objasnio je Rachwan. „Međutim, nedostaje sveobuhvatnih alata koji integrišu i pojednostavljuju sve ove metode.

Ovo je ključna prednost koju Pruna nudi. “ Iako Pruna AI podržava sve tipove modela — od velikih jezičkih modela do difuzionih modela, sistema za govor u tekst i aplikacija za računarsku viziju — kompanija trenutno stavlja veći naglasak na modele generisanja slika i videa. Među trenutnim klijentima Pruna AI su Scenario i PhotoRoom. Pored verzije otvorenog koda, Pruna AI nudi rešenje za preduzeća sa naprednim mogućnostima optimizacije, uključujući agenta za optimizaciju. „Najuzbudljivija karakteristika koju ćemo uskoro objaviti je agent za kompresiju“, otkrio je Rachwan. „Jednostavno date svoj model i precizirate: 'Treba mi više brzine bez žrtvovanja tačnosti više od 2%. ' Agent zatim obavlja svoj posao, određujući najbolju kombinaciju i predstavljajući je vama bez ikakvog dodatnog rada od strane programera. “ Pruna AI naplaćuje po satu za svoju profesionalnu verziju. „To je uporedivo sa iznajmljivanjem GPU-a na AWS-u ili drugim cloud uslugama“, dodao je Rachwan. Ako je vaš model ključni element vaše AI infrastrukture, optimizacija može dovesti do značajnih ušteda u troškovima inferencije. Na primer, Pruna AI je smanjila veličinu Llama modela osam puta uz minimalan gubitak pomoću svog okvira za kompresiju. Kompanija teži da njeni klijenti vide svoj okvir za kompresiju kao samoodrživu investiciju. Nedavno je Pruna AI završila rundi finansiranja sa početnim kapitalom, prikupljajući 6, 5 miliona dolara. Istaknuti investitori uključuju EQT Ventures, Daphni, Motier Ventures i Kima Ventures.