A Pruna AI, egy európai startup, amely a mesterséges intelligencia modellek tömörítő algoritmusainak fejlesztésére összpontosít, csütörtökön nyílt forráskódúvá teszi optimalizáló keretrendszerét. A vállalat olyan keretrendszert tervezett, amely különböző hatékonysági technikákat valósít meg, beleértve a gyorsítótárazást, az eltávolítást, a kvantálást és a desztillációt, hogy hatékonyan optimalizálja a mesterséges intelligencia modelleket. „A keretrendszerünk szabványosítja a tömörített modellek mentési és betöltési folyamatát, ötvözi ezeket a tömörítési technikákat, és értékeli a tömörített modell teljesítményét az optimalizálás után” – mondta John Rachwan, a Pruna AI társalapítója és CTO-ja a TechCrunch-nak adott interjúban. Specifikusan a Pruna AI keretrendszere képes értékelni, hogy jelentős minőségvesztés következik-e be egy modell tömörítése után, és milyen teljesítménynövekedés érhető el. „Ha metaforát kellene használnunk, a Hugging Face-hez hasonlítunk abban, hogy a transformer modellek és diffúzorok szabványosításán dolgozunk – megállapítva, hogyan kell őket hívni, menteni és betölteni, stb. Ugyanezt tesszük a hatékonysági módszerekkel is” – jegyezte meg. A nagyobb mesterséges intelligencia laboratóriumok már most is különféle tömörítési technikákat alkalmaznak. Például az OpenAI desztillációt használt a fő modelljei gyorsabb iterációinak kifejlesztésére. Ez a megközelítés valószínűleg hozzájárult a GPT-4 Turbo létrehozásához, amely a GPT-4 gyorsabb változata. A Flux. 1-schnell képalkotó modell egy másik példa, amely a Black Forest Labs Flux. 1 modelljének desztillált változata. A desztilláció magában foglalja a tudás kinyerését egy nagyobb mesterséges intelligencia modellből egy „tanár-diák” keretrendszeren keresztül. A fejlesztők kéréseket küldenek a tanár modellhez, és rögzítik az outputokat. Ezeket a válaszokat ezután egy adatbázissal hasonlítják össze a pontosság érdekében, irányítva a diák modell képzését, hogy utánozza a tanár viselkedését. „A nagy cégek általában házon belül fejlesztik ezeket a megoldásokat. Az open-source közösségben gyakran találhatók olyan eszközök, amelyek egyedi módszerekre összpontosítanak, például egy kvantálási technikára a nagy nyelvi modellekhez vagy egy gyorsítótárazási megközelítésre a diffúzor modellekhez” – magyarázta Rachwan. „Ugyanakkor hiányzik az átfogó eszközök, amelyek integrálják és egyszerűsítik ezeket a módszereket.

Ez a kulcsfontosságú előny, amit a Pruna kínál. ” Bár a Pruna AI támogat mindenféle modell típust – a nagy nyelvi modellektől a diffúzor modellekig, a beszédről szövegre rendszerekig, és a számítógépes látás alkalmazásokig – a vállalat jelenleg nagyobb hangsúlyt fektet a képek és videók generáló modelljeire. A Pruna AI jelenlegi ügyfelei között van a Scenario és a PhotoRoom. Az open-source verzió mellett a Pruna AI egy vállalati megoldást is kínál, fejlett optimalizálási képességekkel, beleértve az optimalizáló ügynököt is. „A legizgalmasabb funkció, amit hamarosan bevezetünk, egy tömörítő ügynök” – árulta el Rachwan. „Csak megadja a modelledet, és megszabja: 'Több sebességre van szükségem, anélkül, hogy a pontosságot több mint 2%-kal feláldoznám. ' Az ügynök aztán végzi a varázsát, meghatározza a legjobb kombinációt, és bemutatja önnek, mindez további munka nélkül a fejlesztőtől. ” A Pruna AI óránkénti díjat számít fel professzionális verziójáért. „Ez hasonlítható egy GPU bérléséhez az AWS-en vagy más felhőszolgáltatásokon” – tette hozzá Rachwan. Ha a modelled a mesterséges intelligencia infrastruktúrád kritikus eleme, akkor az optimalizálás jelentős költségmegtakarítást hozhat az inferálás során. Például a Pruna AI nyolcszorosára csökkentette egy Llama modell méretét minimális veszteséggel a tömörítési keretrendszerén keresztül. A vállalat célja, hogy az ügyfelek a tömörítési keretrendszerét önfenntartó befektetésként tekintsék. Nemrég a Pruna AI 6, 5 millió dolláros seed finanszírozási kört zárt le. Neves befektetők között szerepel az EQT Ventures, a Daphni, a Motier Ventures és a Kima Ventures.