Generatieve kunstmatige intelligentie (AI), waaronder modellen zoals Stable Diffusion, Midjourney en DALL-E, heeft vaak moeite met het produceren van consistente beelden, vooral als het gaat om details zoals gezichtsymmetrie en juiste vingerweergave. Deze modellen genereren over het algemeen vierkante beelden, wat leidt tot problemen wanneer ze worden belast met het maken van beelden in verschillende beeldverhoudingen, wat resulteert in anomalieën zoals extra vingers of vervormde vormen. Om deze problemen aan te pakken, hebben computerwetenschappers van de Rice University ElasticDiffusion ontwikkeld, een nieuwe methode die gebruik maakt van voorgetrainde diffusie-modellen. Moayed Haji Ali, een promovendi aan Rice, presenteerde deze methode op de IEEE 2024 Conference on Computer Vision and Pattern Recognition in Seattle. Haji Ali legde uit dat traditionele diffusie-modellen alleen beelden kunnen genereren op een specifieke resolutie, wat een gevolg is van overfitting, waarbij een AI-model goed presteert op bekende gegevens maar moeite heeft met variaties. ElasticDiffusion verbetert de aanpak door lokale en globale informatie te scheiden tijdens de beeldgeneratie, in plaats van ze te combineren.

Deze scheiding helpt visuele onvolkomenheden te vermijden die ontstaan uit repetitieve gegevens bij het aanpassen aan niet-vierkante beelden. Haji Ali merkte op dat het proces aanvankelijk een globale score behelst die de algehele structuur van het beeld vastlegt, gevolgd door het invullen van pixelniveau-details per sectie. Deze methode maakt het mogelijk om duidelijkere beelden te genereren in verschillende beeldverhoudingen zonder aanvullende modeltraining. Hoewel ElasticDiffusion verbeterde consistentie en aanpassingsvermogen biedt bij de beeldgeneratie, komt het met een afweging: het vereist momenteel 6-9 keer langer om beelden te maken in vergelijking met conventionele diffusie-modellen. Haji Ali streeft ernaar de methode te optimaliseren om gelijkwaardige inferentietijden te bereiken, terwijl de mogelijkheid behouden blijft om hoogwaardige beelden te genereren ongeacht de beeldverhouding.