Rychlá generace vysoce kvalitních obrazů je nezbytná pro vytváření realistických simulovaných prostředí, která pomáhají trénovat autonomní vozidla, aby bezpečně navigovala nepředvídatelnými překážkami. Současné techniky generativní AI, zejména difúzní modely, jsou však často příliš pomalé a výpočetně náročné. Naproti tomu autoregresivní modely, jako jsou ty, které pohánějí jazykové modely jako ChatGPT, fungují mnohem rychleji, ale zpravidla produkují nižší kvalitu obrazů plných chyb. Výzkumníci z MIT a NVIDIA představili HART (Hybrid Autoregressive Transformer), novou metodu generování obrazů, která kombinuje sílu obou přístupů. HART využívá autoregresivní model k rychlému načrtnutí hlavních rysů obrazu a poté používá menší difúzní model k vylepšení těchto detailů. Tento inovativní nástroj generuje obrazy, které rivalizují nebo překonávají kvalitu špičkových difúzních modelů, přičemž funguje přibližně devětkrát rychleji a s menšími nároky na výpočetní zdroje, což umožňuje provoz na běžných noteboocích a chytrých telefonech. Aplikace HART zahrnují pomoc výzkumníkům při trénování robotů pro složité úkoly a usnadnění návrhářům vytváření fascinujících scén pro videohry.

„Stejně jako zušlechťování hrubého malování podrobnými tahy štětce zlepšuje jeho kvalitu, HART kombinuje širokou generaci obrazů s pečlivou prací na detailech, “ říká Haotian Tang, jeden z hlavních autorů výzkumu. Difúzní modely, které vyžadují několik kroků k odstranění šumu z obrazů, mohou produkovat velmi detailní vizuály, ale jsou pomalé a náročné na zdroje. Naopak autoregresivní modely generují obrazy rychleji tím, že vytváří segmenty postupně, ale trpí ztrátou informací, což vede k nižší kvalitě. HART tyto omezení překonává tím, že nejprve předpovídá diskrétní tokeny obrazu pomocí autoregresivního modelu a poté používá difúzní model k doplnění chybějících detailů, což umožňuje rychlé a kvalitní obrazy s pouhými osmi kroky. Během vývoje čelili výzkumníci integračním výzvám, ale zlepšili kvalitu HART tím, že aplikovali difúzní model výhradně pro předpovídání zbytkových tokenů. jejich konečný design využívá autoregresivní model s 700 miliony parametrů spolu s difúzním modelem s 37 miliony parametry, přičemž dosahuje kvality obrazů srovnatelné s většími difúzními modely (až 2 miliardy parametrů) při spotřebě o 31 % méně výpočetní energie. Do budoucna tým plánuje také rozšířit architekturu HART k vývoji modelů pro vidění a jazyk a prozkoumat aplikace v generování videa a predikci zvuku, což by mohlo revolučně změnit interakce s generativními modely. Tento výzkum podporovaly různé organizace, včetně MIT-IBM Watson AI Lab a NVIDIA, která poskytla GPU zdroje pro trénink modelu.