Pruna AI, evropski startup usmjeren na razvoj algoritama kompresije za AI modele, lansira svoj okvir optimizacije kao otvoreni izvor ovog četvrtka. Kompanija je dizajnirala okvir koji implementira razne tehnike efikasnosti, uključujući keširanje, obrezivanje, kvantizaciju i destilaciju, kako bi efikasno optimizovala AI modele. “Naš okvir standardizuje proces spremanja i učitavanja komprimovanih modela, kombinuje te tehnike kompresije i ocjenjuje performanse vašeg komprimovanog modela nakon optimizacije, ” rekao je John Rachwan, suosnivač i CTO Pruna AI, u intervjuu za TechCrunch. Specifično, okvir Pruna AI može ocijeniti da li do značajnog gubitka kvaliteta dolazi nakon kompresije modela i poboljšanja performansi koja su postignuta. “Da koristimo metaforu, slični smo Hugging Face-u kada je u pitanju standardizacija transformatora i difuzora — uspostavljanje načina kako ih nazvati, spremiti i učitati, itd. Radimo isto za metode efikasnosti, ” napomenuo je. Veći AI laboratoriji već koriste razne tehnike kompresije. Na primjer, OpenAI je koristio destilaciju kako bi razvio brže iteracije svojih osnovnih modela. Ovaj pristup vjerojatno je doprinio stvaranju GPT-4 Turbo, brže verzije GPT-4. Model za generisanje slika Flux. 1-schnell je još jedan primjer, koji služi kao destilovana varijanta modela Flux. 1 iz Black Forest Labs. Destilacija uključuje ekstrakciju znanja iz većeg AI modela kroz okvir “učitelj-učenik”. Razvijači postavljaju zahtjeve učiteljskom modelu i hvataju izlaze. Ovi odgovori se zatim mogu uporediti s podacima za tačnost, vodeći obuku učenik modela da oponaša ponašanje učitelja. “Za velike kompanije, obično razvijaju ta rješenja interno. U zajednici otvorenog koda često nalazite alate fokusirane na jedne metode, kao što je jedna tehnika kvantizacije za velike jezičke modele ili jedan pristup keširanju za difuzione modele, ” objasnio je Rachwan. “Međutim, nedostaje sveobuhvatnih alata koji integrišu i pojednostavljuju sve te metode.

Ovo je ključna prednost koju Pruna nudi. ” Dok Pruna AI podržava sve tipove modela—od velikih jezičkih modela do difuzionih modela, sistema za pretvaranje govora u tekst i aplikacija računalnog vida—kompanija trenutno stavlja veći naglasak na modele za generisanje slika i videa. Među trenutnim klijentima Pruna AI su Scenario i PhotoRoom. Osim verzije otvorenog koda, Pruna AI nudi rješenje za preduzeća s naprednim mogućnostima optimizacije, uključujući agenta za optimizaciju. “Najuzbudljivija karakteristika koju ćemo uskoro objaviti je agent za kompresiju, ” otkrio je Rachwan. “Jednostavno pružite svoj model i navedete, ‘Treba mi više brzine bez žrtvovanja tačnosti za više od 2%. ’ Agent zatim obavlja svoju čaroliju, određuje najbolju kombinaciju i predstavlja vam je bez dodatnog rada od strane developera. ” Pruna AI naplaćuje po satu za svoju profesionalnu verziju. “To je usporedivo s iznajmljivanjem GPU-a na AWS-u ili drugim uslugama u oblaku, ” dodao je Rachwan. Ako je vaš model ključna komponenta vaše AI infrastrukture, optimizacija može dovesti do značajnih ušteda na inferenciji. Na primjer, Pruna AI je smanjila veličinu Llama modela osam puta uz minimalan gubitak kroz svoj okvir kompresije. Kompanija teži da klijenti vide njen okvir kompresije kao samoodrživu investiciju. Nedavno je Pruna AI završila krug finansiranja u iznosu od 6. 5 miliona dolara. Značajni investitori uključuju EQT Ventures, Daphni, Motier Ventures i Kima Ventures.