Penghasilan imej berkualiti tinggi dengan cepat adalah penting untuk mencipta persekitaran simulasi yang realistik, yang membantu melatih kereta pemanduan sendiri untuk menavigasi bahaya yang tidak dapat diramalkan dengan selamat. Namun, teknik AI generatif semasa, terutamanya model difusi, sering kali terlalu lambat dan memerlukan banyak pengiraan. Walaupun model autoregresif, seperti yang menyokong LLM seperti ChatGPT, beroperasi dengan lebih cepat, mereka biasanya menghasilkan imej berkualiti lebih rendah yang dipenuhi dengan kesilapan. Penyelidik dari MIT dan NVIDIA telah memperkenalkan HART (Hybrid Autoregressive Transformer), kaedah penghasilan imej baru yang menggabungkan kekuatan kedua-dua pendekatan. HART menggunakan model autoregresif untuk menggambarkan ciri-ciri utama imej dengan cepat dan kemudian menggunakan model difusi yang lebih kecil untuk memperhalusi butiran ini. Alat inovatif ini menghasilkan imej yang setanding atau melebihi kualiti model difusi terkini tetapi beroperasi kira-kira sembilan kali lebih cepat dan dengan penggunaan sumber pengiraan yang lebih rendah, membolehkan operasi pada komputer riba dan telefon pintar biasa. Aplikasi untuk HART termasuk membantu penyelidik melatih robot untuk tugas-tugas kompleks dan membantu pereka mencipta adegan menarik untuk permainan video.

"Sama seperti memperhalusi lukisan kasar dengan sapuan berus terperinci meningkatkan kualitinya, HART menggabungkan penghasilan imej yang luas dengan kerja perincian yang teliti, " kata Haotian Tang, salah seorang pengarang utama penyelidikan ini. Model difusi, yang memerlukan beberapa langkah untuk menghilangkan bunyi imej, dapat menghasilkan visual yang sangat terperinci tetapi lambat dan memakan sumber. Sebaliknya, model autoregresif menghasilkan imej dengan lebih pantas dengan mencipta petak secara berurutan tetapi mengalami kehilangan maklumat yang membawa kepada kualiti yang lebih rendah. HART mengatasi had ini dengan terlebih dahulu meramalkan token imej diskret menggunakan model autoregresif, diikuti dengan menggunakan model difusi untuk menambah semula sebarang butiran yang hilang, membolehkan penghasilan imej yang pantas dan berkualiti tinggi dengan hanya lapan langkah. Semasa pembangunan, penyelidik menghadapi cabaran pengintegrasian tetapi meningkatkan kualiti HART dengan menggunakan model difusi hanya untuk meramalkan token baki. Reka bentuk akhir mereka menggunakan model autoregresif dengan 700 juta parameter di samping model difusi dengan 37 juta parameter, mencapai kualiti imej yang sejajar dengan model difusi yang lebih besar (hingga 2 bilion parameter) sambil menggunakan 31% kurang kuasa pengiraan. Melangkah ke hadapan, pasukan merancang untuk membangunkan model visi-bahasa berdasarkan seni bina HART dan meneroka aplikasi dalam penghasilan video dan ramalan audio, yang berpotensi untuk merevolusikan interaksi dengan model generatif. Penyelidikan ini disokong oleh pelbagai organisasi, termasuk MIT-IBM Watson AI Lab dan NVIDIA, yang menyediakan sumber GPU untuk melatih model tersebut.