Néhány módszer az AI modelljeinek 3D formai minőségi problémáit újratanítással vagy finomhangolással célozza meg, ami költséges és időigényes lehet. Azonban az MIT kutatói egy új technikát fejlesztettek ki, amely minőségben megegyezik vagy túlszárnyalja ezeket a módszereket anélkül, hogy további képzésre vagy bonyolult utófeldolgozásra lenne szükség. A probléma forrásának azonosításával javították a Score Distillation és kapcsolódó módszerek matematikai megértését, ezzel utat nyitva a fokozott teljesítmény felé. „Kutatásunk hatékony, gyors és magas színvonalú megoldások felé vezet, ami potenciálisan segítheti a tervezőket reális 3D formák létrehozásában” – mondja Artem Lukoianov, az MIT EECS végzős hallgatója és a vezető szerző. Társ-szerzői közé tartozik Haitz Sáez de Ocáriz Borde az Oxfordi Egyetemről, Kristjan Greenewald az MIT-IBM Watson AI Labtól, Vitor Campagnolo Guizilini a Toyota Research Institute-tól, Timur Bagautdinov a Metától, valamint Vincent Sitzmann és Justin Solomon, az MIT CSAIL-ról. A generatív AI modellek, mint a DALL-E, diffúziós modelleket használnak, hogy zajból 2D képeket hozzanak létre. Korlátozott 3D képzési adatok miatt küzdenek a 3D forma generálással. Egy 2022-es technika, a Score Distillation Sampling (SDS), előre betanított modelleket használ arra, hogy 2D képeket 3D formákká alakítson zaj manipulációval.

Azonban ezek a formák gyakran elmosódottak vagy túltelítettek, és ez a probléma eddig megoldatlan maradt. Az MIT csapata egy kulcsfontosságú képlet-eltérést azonosított az SDS-ben, amely zajt vezetett be, rossz minőségű 3D formákat eredményezve. Ahelyett, hogy a képletet pontosan oldották volna meg, közelítési technikákat használtak a hiányzó elemek kiderítésére, éles, reális 3D formákhoz vezetve. Javították a képfelbontást és a modell paramétereit is, hogy tovább fokozzák a minőséget. A meglévő előképzett diffúziós modelleket felhasználva kiváló minőségű 3D formákat értek el drága újbóli képzés nélkül. Bár ez a módszer a bázismodellből származó torzításokat és korlátokat örökli, az alapmodell javítása előnyösebb eredményeket hozhat. Jövőbeli munkák során ezekkel a technikákkal vizsgálhatják az kép szerkesztésének javítását. A kutatást többek között a Toyota Research Institute, az amerikai Nemzeti Tudományos Alapítvány és mások finanszírozták.