Generativ kunstig intelligens (AI), inkludert modeller som Stable Diffusion, Midjourney og DALL-E, sliter ofte med å produsere konsistente bilder, spesielt når det gjelder detaljer som ansiktssymmetri og riktig representasjon av fingre. Disse modellene genererer generelt firkantede bilder, noe som fører til problemer når de skal lage bilder i forskjellige aspektsforhold, noe som resulterer i anomalier som ekstra fingre eller forvrengte former. For å løse disse problemene har datavitere ved Rice University utviklet ElasticDiffusion, en ny metode som utnytter forhåndstrente diffusjonsmodeller. Moayed Haji Ali, doktorgradsstudent ved Rice, presenterte denne metoden på IEEE 2024 Conference on Computer Vision and Pattern Recognition i Seattle. Haji Ali forklarte at tradisjonelle diffusjonsmodeller bare kan generere bilder på en bestemt oppløsning, som er en konsekvens av overtilpasning, hvor en AI-modell presterer godt på kjente data, men sliter med variasjoner. ElasticDiffusion forbedrer tilnærmingen ved å skille lokal og global informasjon under bildegenereringen, i stedet for å kombinere dem.

Denne separasjonen bidrar til å unngå visuelle feil som oppstår fra repetitiv data når den tilpasses ikke-firkantede bilder. Haji Ali bemerket at prosessen innebærer først å oppnå en global score som innkapsler bildets overordnede struktur, etterfulgt av å fylle inn pikselnivådetaljer i seksjoner. Denne metoden gjør det mulig å generere klarere bilder på tvers av forskjellige aspektsforhold uten at det er nødvendig med ytterligere modelltrening. Mens ElasticDiffusion gir økt konsistens og tilpasningsevne i bildegenerering, har det en trade-off: det krever for øyeblikket 6-9 ganger lengre tid å lage bilder sammenlignet med konvensjonelle diffusjonsmodeller. Haji Ali har som mål å optimalisere metoden for å oppnå tilsvarende inferenstider samtidig som den beholder evnen til å generere bilder av høy kvalitet uansett aspektsforhold.