Inteligența artificială generativă (AI), incluzând modele precum Stable Diffusion, Midjourney și DALL-E, se confruntă adesea cu dificultăți în producerea de imagini consistente, mai ales în ceea ce privește detaliile precum simetria facială și reprezentarea corectă a degetelor. Aceste modele generează în general imagini pătrate, ceea ce duce la probleme atunci când sunt solicitate să creeze imagini în diferite raporturi de aspect, rezultând anomalii precum degete suplimentare sau forme distorsionate. Pentru a aborda aceste probleme, oamenii de știință de la Universitatea Rice au dezvoltat ElasticDiffusion, o metodă inovatoare ce utilizează modele de difuzie pre-antrenate. Moayed Haji Ali, un student doctoral la Rice, a prezentat această metodă la Conferința IEEE 2024 privind Viziunea Computațională și Recunoașterea Pattern-urilor, desfășurată la Seattle. Haji Ali a explicat că modelele tradiționale de difuzie pot genera imagini doar la o rezoluție specifică, aceasta fiind o consecință a overfitting-ului, unde un model AI performează bine pe date familiare, dar întâmpină dificultăți în fața variațiilor. ElasticDiffusion îmbunătățește abordarea prin separarea informațiilor locale de cele globale în timpul generării imaginii, în loc să le combine.

Această separare ajută la evitarea imperfecțiunilor vizuale care apar din date repetitive atunci când se adaptează la imagini non-pătrate. Haji Ali a menționat că procesul implică obținerea inițială a unui scor global care encapsulează structura generală a imaginii, urmată de completarea detaliilor la nivel de pixel în secțiuni. Această metodă permite generarea de imagini clare în diferite raporturi de aspect fără a necesita antrenarea suplimentară a modelului. Deși ElasticDiffusion oferă o consistență și adaptabilitate îmbunătățite în generarea de imagini, vine cu un compromis: în prezent necesită de 6-9 ori mai mult timp pentru a crea imagini comparativ cu modelele de difuzie convenționale. Haji Ali își propune să optimizeze metoda pentru a obține timpi de inferență echivalenți păstrând în același timp capacitatea de a genera imagini de înaltă calitate, indiferent de raportul de aspect.