Pruna AI, sebuah syarikat permulaan Eropah yang memfokuskan pada pembangunan algoritma pemampatan untuk model AI, akan melancarkan kerangka pengoptimumannya sebagai sumber terbuka pada hari Khamis ini. Syarikat ini telah mereka bentuk sebuah kerangka yang melaksanakan pelbagai teknik kecekapan, termasuk caching, pruning, kuantifikasi, dan penyulingan, untuk mengoptimumkan model AI dengan berkesan. “Kerangka kami menyandar proses menyimpan dan memuatkan model yang dipampatkan, menggabungkan teknik-teknik pemampatan ini, dan menilai prestasi model yang dipampatkan selepas pengoptimuman, ” kata John Rachwan, pengasas bersama dan CTO Pruna AI, dalam satu wawancara dengan TechCrunch. Secara khusus, kerangka Pruna AI dapat menilai sama ada kehilangan kualiti yang signifikan berlaku selepas memampatkan model dan peningkatan prestasi yang dicapai. “Untuk menggunakan metafora, kami serupa dengan Hugging Face dalam hal standardisasi transformers dan diffusers — menetapkan cara untuk memanggil, menyimpan, dan memuatkan mereka, dan sebagainya. Kami melakukan perkara yang sama untuk kaedah kecekapan, ” tambahnya. Makmal AI utama sudah pun memanfaatkan pelbagai teknik pemampatan. Contohnya, OpenAI telah menggunakan penyulingan untuk membangunkan iterasi yang lebih cepat bagi model terasnya. Pendekatan ini mungkin menyumbang kepada penciptaan GPT-4 Turbo, versi lebih pantas bagi GPT-4. Model penghasilan imej Flux. 1-schnell adalah satu lagi contoh, berfungsi sebagai varian disuling dari model Flux. 1 dari Black Forest Labs. Penyulingan melibatkan pengekstrakan pengetahuan daripada model AI yang lebih besar melalui kerangka "guru-pelajar". Pembangun mengeluarkan permintaan kepada model guru dan menangkap keluaran tersebut. Respons ini kemudiannya boleh dibandingkan dengan dataset untuk ketepatan, membimbing latihan model pelajar agar meniru tingkah laku guru. “Bagi syarikat besar, mereka biasanya membangunkan penyelesaian ini di dalam rumah. Dalam komuniti sumber terbuka, anda sering menemui alat yang memberi tumpuan kepada kaedah tunggal, seperti satu teknik kuantifikasi untuk model bahasa besar atau satu pendekatan caching untuk model diffusion, ” jelas Rachwan. “Namun, terdapat kekurangan alat yang komprehensif yang mengintegrasi dan menyederhanakan semua kaedah ini.

Ini adalah manfaat utama yang ditawarkan oleh Pruna. ” Walaupun Pruna AI menyokong semua jenis model — dari model bahasa besar hingga model diffusion, sistem pengucapan kepada teks, dan aplikasi visi komputer — syarikat kini memberi penekanan yang lebih pada model penghasilan imej dan video. Antara pelanggan terkini Pruna AI adalah Scenario dan PhotoRoom. Selain versi sumber terbuka, Pruna AI menawarkan penyelesaian perusahaan dengan kemampuan pengoptimuman yang canggih, termasuk ejen pengoptimuman. “Ciri paling menggembirakan yang akan kami luncurkan tidak lama lagi adalah ejen pemampatan, ” dedah Rachwan. “Anda hanya perlu memberikan model anda dan menyatakan, 'Saya memerlukan lebih banyak kelajuan tanpa mengorbankan ketepatan lebih daripada 2%. ’ Ejen kemudian melakukan keajaibannya, menentukan kombinasi terbaik dan menyampaikannya kepada anda tanpa memerlukan kerja tambahan dari pemaju. ” Pruna AI mengenakan bayaran berdasarkan jam untuk versi profesionalnya. “Ia setanding dengan menyewa GPU di AWS atau perkhidmatan awan lain, ” tambah Rachwan. Jika model anda adalah elemen penting dalam infrastruktur AI anda, mengoptimumkannya boleh membawa kepada penjimatan kos yang besar pada inferens. Sebagai contoh, Pruna AI telah mengurangkan saiz model Llama sehingga lapan kali dengan kehilangan minimum melalui kerangka pemampatannya. Syarikat ini bercita-cita agar pelanggan melihat kerangka pemampatannya sebagai pelaburan yang mampu menyara diri. Baru-baru ini, Pruna AI telah menyelesaikan satu pusingan pembiayaan benih, mengumpul $6. 5 juta. Pelabur yang terkenal termasuk EQT Ventures, Daphni, Motier Ventures, dan Kima Ventures.