La rapida generazione di immagini di alta qualità è essenziale per creare ambienti simulati realistici, che aiutano ad addestrare le auto a guida autonoma a navigare in modo sicuro tra pericoli imprevedibili. Tuttavia, le attuali tecniche di intelligenza artificiale generativa, in particolare i modelli di diffusione, sono spesso troppo lente e richiedono molte risorse computazionali. Sebbene i modelli autoregressivi, come quelli che alimentano i LLM come ChatGPT, operino molto più rapidamente, di solito producono immagini di qualità inferiore e piene di errori. I ricercatori del MIT e di NVIDIA hanno introdotto HART (Hybrid Autoregressive Transformer), un nuovo metodo di generazione di immagini che combina i punti di forza di entrambi gli approcci. HART utilizza un modello autoregressivo per delineare rapidamente le caratteristiche principali di un'immagine e poi impiega un modello di diffusione più piccolo per affinare questi dettagli. Questo strumento innovativo genera immagini che competono o superano la qualità dei modelli di diffusione all'avanguardia, ma opera circa nove volte più velocemente e con un minor utilizzo di risorse computazionali, consentendo l'uso su normali laptop e smartphone. Le applicazioni per HART includono l'assistenza ai ricercatori nell'addestramento di robot per compiti complessi e l'aiuto ai designer nella creazione di scene coinvolgenti per i videogiochi.

“Proprio come affinare un dipinto ruvido con colpi di pennello dettagliati ne migliora la qualità, HART combina una generazione di immagini ampia con un lavoro di dettaglio meticoloso, ” afferma Haotian Tang, uno dei principali autori della ricerca. I modelli di diffusione, che richiedono più passaggi per denoizzare le immagini, possono produrre visuali altamente dettagliate ma sono lenti e intensivi in termini di risorse. Al contrario, i modelli autoregressivi generano immagini più rapidamente creando patch in modo sequenziale, ma soffrono di perdita di informazioni che porta a una qualità inferiore. HART contrasta queste limitazioni prevedendo prima i token immagine discreti con il modello autoregressivo, per poi utilizzare il modello di diffusione per ripristinare eventuali dettagli mancanti, consentendo immagini veloci e di alta qualità con soli otto passaggi. Durante lo sviluppo, i ricercatori hanno affrontato sfide di integrazione, ma hanno migliorato la qualità di HART applicando il modello di diffusione esclusivamente per prevedere i token residui. Il loro design finale impiega un modello autoregressivo da 700 milioni di parametri insieme a un modello di diffusione da 37 milioni di parametri, raggiungendo una qualità dell'immagine comparabile a quella di modelli di diffusione più grandi (fino a 2 miliardi di parametri) consumando il 31% di potenza computazionale in meno. Guardando al futuro, il team prevede di costruire sull'architettura HART per sviluppare modelli visione-linguaggio ed esplorare applicazioni nella generazione di video e nella previsione audio, potenzialmente rivoluzionando le interazioni con i modelli generativi. Questa ricerca è stata supportata da varie organizzazioni, tra cui il MIT-IBM Watson AI Lab e NVIDIA, che hanno fornito risorse GPU per l'addestramento del modello.