Revolucionarna MIT-ova tehnika generiranja 3D oblika u generativnoj umjetnoj inteligenciji
Brief news summary
Istraživači s MIT-a, pod vodstvom diplomiranog studenta Artema Lukoianova, razvili su metodu za generisanje visokokvalitetnih 3D oblika koristeći generativne AI modele. Ova revolucionarna tehnika prevazilazi matematičke poteškoće Score Distillation-a, uklanjajući potrebu za ponovnom obukom i složenom post-obradom, čime se značajno poboljšava realizam 3D modela. U saradnji s Univerzitetom u Oksfordu, MIT-IBM Watson AI laboratorijom, Toyota istraživačkim institutom i Metom, rad tima je poboljšao preciznost i kvalitet 3D oblika, uveliko koristeći dizajnerima. Za razliku od modela kao što je DALL-E, koji imaju poteškoće s 3D generisanjem zbog ograničenja podataka, ovaj novi pristup koristi aproksimacione tehnike za preciziranje oblika i optimizuje rezolucije renderovanja i parametre modela. Iako se temelji na unapred obučenim difuzionim modelima koji imaju intrinzične predrasude i ograničenja, istraživanje obećava za budućnost tehnologija uređivanja slika. Podržano od strane raznih organizacija, dalji napori teže ka usavršavanju ovih osnovnih modela za širu primenu.Neki pristupi rješavaju probleme kvalitete 3D oblika u generativnim AI modelima putem ponovnog treniranja ili fino podešavanja, što može biti skupo i zahtevno po vremenu. Međutim, istraživači sa MIT-a su razvili novu tehniku koja postiže ili nadmašuje kvalitet ovih metoda bez dodatne obuke ili složenog postprocesiranja. Identificirajući izvor problema, poboljšali su matematičko razumijevanje Score Distillation i srodnih metoda, otvarajući put za poboljšane performanse. "Naše istraživanje nas vodi ka efikasnim, brzim i visokokvalitetnim rješenjima, koja mogu pomoći dizajnerima u kreiranju realističnih 3D oblika, " kaže Artem Lukoianov, glavni autor i doktorand na MIT-u. Njegovi koautori su Haitz Sáez de Ocáriz Borde sa Univerziteta u Oxfordu, Kristjan Greenewald iz MIT-IBM Watson AI laboratorije, Vitor Campagnolo Guizilini iz Toyota Research Institute, Timur Bagautdinov iz Meta, te viši autori Vincent Sitzmann i Justin Solomon iz MIT CSAIL. Generativni AI modeli poput DALL-E koriste difuzione modele za stvaranje 2D slika od šuma. Zbog ograničenih podataka za obuku u 3D, imaju poteškoće u generiranju 3D oblika. Tehnika iz 2022.
godine, Score Distillation Sampling (SDS), koristi unaprijed obučene modele da konvertuje 2D slike u 3D oblike putem manipulacije šumom. Ipak, ovi oblici često izgledaju mutno ili presaturirano, problem koji do sada nije bio riješen. MIT tim je identificirao ključnu razliku u formuli SDS-a koja je unosila šum, dovodeći do slabijih 3D oblika. Umjesto preciznog rješavanja formule, koristili su tehnike aproksimacije kako bi zaključili nedostajuće dijelove, rezultirajući jasnim i realističnim 3D oblicima. Također su poboljšali rezoluciju slike i prilagodili parametre modela kako bi dodatno poboljšali kvalitetu. Koristeći postojeće unaprijed obučene difuzione modele, postigli su visokokvalitetne 3D oblike bez skupog ponovnog treniranja. Iako ova metoda preuzima pristrasnosti i ograničenja osnovnog modela, poboljšanje temeljnog modela moglo bi poboljšati rezultate. Budući rad bi mogao istražiti ove tehnike za poboljšanje uređivanja slika. Ovo istraživanje je finansirano od strane entiteta kao što su Toyota Research Institute, Američka nacionalna naučna fondacija i drugi.
Watch video about
Revolucionarna MIT-ova tehnika generiranja 3D oblika u generativnoj umjetnoj inteligenciji
Try our premium solution and start getting clients — at no cost to you
