Brza generacija slika viskog kvaliteta je bitna za kreiranje realističnih simuliranih okruženja, koja pomažu u obuci autonomnih vozila da sigurno navigiraju nepredvidivim opasnostima. Međutim, trenutne generativne AI tehnike, posebno difuzni modeli, često su preslowi i zahtevaju velike računske resurse. Iako autogenerativni modeli, poput onih koji pokreću LLM-ove kao što je ChatGPT, rade mnogo brže, obično proizvode slike nižeg kvaliteta koje su ispunjene greškama. Istraživači sa MIT-a i NVIDIA-e su predstavili HART (Hibridni Autogenerativni Transformer), novu metodu generacije slika koja kombinuje prednosti oba pristupa. HART koristi autogenerativni model da brzo ocrta glavne karakteristike slike, a zatim koristi manji difuzni model da precizira te detalje. Ovaj inovativni alat generiše slike koje se takmiče ili čak nadmašuju kvalitet najsavremenijih difuznih modela, ali deluje otprilike devet puta brže i sa manjom potrošnjom računske snage, omogućavajući rad na običnim laptopovima i pametnim telefonima. Primene HART-a uključuju pomoć istraživačima u obuci robota za složene zadatke i pomoć dizajnerima u kreiranju privlačnih scena za video igre.

“Baš kao što precizno oslikavanje grube slike poboljšava njen kvalitet, HART kombinuje široku generaciju slika sa pažljivim radom na detaljima, ” kaže Haotian Tang, jedan od glavnih autora istraživanja. Difuzni modeli, koji zahtevaju više koraka da otklone šum sa slika, mogu proizvoditi veoma detaljne vizuale, ali su spori i zahtevaju mnogo resursa. Nasuprot tome, autogenerativni modeli generišu slike brže, kreirajući delove sekvencijalno, ali pate od gubitka informacija što vodi ka nižem kvalitetu. HART prevazilazi ova ograničenja predviđajući diskretne tokene slike sa autogenerativnim modelom, a zatim koristi difuzni model da vrati sve nedostajuće detalje, omogućavajući brzu i kvalitetnu generaciju slika sa samo osam koraka. Tokom razvoja, istraživači su se suočili sa izazovima integracije, ali su poboljšali kvalitet HART-a primenjujući difuzni model isključivo za predikciju preostalih tokena. Njihov konačni dizajn koristi autogenerativni model sa 700 miliona parametara zajedno sa difuznim modelom od 37 miliona parametara, postizajući kvalitet slike uporediv sa većim difuznim modelima (do 2 milijarde parametara) uz potrošnju 31% manje računske snage. Gledajući unapred, tim planira da izgradi na HART arhitekturi kako bi razvio modele vizija-i-jezika i istražio primene u generaciji video sadržaja i predikciji zvuka, potencijalno revolucionirajući interakcije sa generativnim modelima. Ovo istraživanje podržale su razne organizacije, uključujući MIT-IBM Watson AI Lab i NVIDIA, koje su obezbedile GPU resurse za obuku modela.