Noen metoder adresserer problemer med 3D-formkvalitet i generative AI-modeller gjennom nytrening eller finjustering, noe som kan være kostbart og tidkrevende. Imidlertid har MIT-forskere utviklet en ny teknikk som gir samme eller bedre kvalitet uten behov for ekstra trening eller kompleks etterprosessering. Ved å fastslå problemets kilde har de forbedret den matematiske forståelsen av Score Distillation og relaterte metoder, noe som baner vei for bedre ytelse. "Vår forskning leder oss mot effektive, raske og høykvalitetsløsninger som potensielt kan hjelpe designere med å skape realistiske 3D-former, " sier Artem Lukoianov, hovedforfatter og EECS-doktorgradsstudent ved MIT. Hans medforfattere inkluderer Haitz Sáez de Ocáriz Borde fra Oxford University, Kristjan Greenewald fra MIT-IBM Watson AI Lab, Vitor Campagnolo Guizilini fra Toyota Research Institute, Timur Bagautdinov fra Meta, og seniorforfatterne Vincent Sitzmann og Justin Solomon fra MIT's CSAIL. Generative AI-modeller som DALL-E bruker diffusionsmodeller for å skape 2D-bilder fra støy. På grunn av begrensede 3D-treningsdata sliter de med generering av 3D-former. En teknikk fra 2022, Score Distillation Sampling (SDS), bruker forhåndstrente modeller for å konvertere 2D-bilder til 3D-former gjennom manipulering av støy.

Disse formene fremstår imidlertid ofte som uklare eller overmettet, et problem som nå har blitt løst. MIT-teamet identifiserte en avgjørende formelmismatch i SDS som introduserte støy, og førte til dårlige 3D-former. I stedet for å løse formelen nøyaktig brukte de approksimeringsteknikker for å utlede manglende ledd, noe som resulterte i skarpe, realistiske 3D-former. De forbedret også bildekvaliteten og justerte modellparametere for å ytterligere øke kvaliteten. Ved å bruke eksisterende forhåndstrente diffusionsmodeller oppnådde de høykvalitets 3D-former uten kostbar nytrening. Selv om denne metoden arver skjevheter og begrensninger fra grunnmodellen, kan forbedring av underliggende modellen forbedre resultatene. Fremtidig arbeid kan utforske disse teknikkene for å forbedre bilderedigering. Denne forskningen mottok finansiering fra aktører som Toyota Research Institute, U. S. National Science Foundation, og andre.