Generatívna umelá inteligencia (AI), vrátane modelov ako Stable Diffusion, Midjourney a DALL-E, často zápasí s tvorbou konzistentných obrázkov, najmä pokiaľ ide o detaily ako symetria tváre a primerané znázornenie prstov. Tieto modely zvyčajne generujú štvorcové obrázky, čo vedie k problémom pri vytváraní obrázkov v rôznych pomeroch strán, čo má za následok anomálie ako dodatočné prsty alebo deformované tvary. Aby adresovali tieto problémy, počítačoví vedci na Rice University vyvinuli ElasticDiffusion, nový metódu využívajúcu predtrénované difúzne modely. Moayed Haji Ali, doktorand na Rice University, predstavil túto metódu na IEEE 2024 Conference on Computer Vision and Pattern Recognition v Seattli. Haji Ali vysvetlil, že tradičné difúzne modely dokážu generovať obrázky len v konkrétnom rozlíšení, čo je dôsledkom nadmerného prispôsobenia, pri ktorom AI modely dobre fungujú na známych dátach, ale majú problém s variáciami.

ElasticDiffusion zlepšuje tento prístup tým, že pri generovaní obrázkov oddeľuje lokálne a globálne informácie, namiesto ich kombinovania. Toto oddelenie pomáha predchádzať vizuálnym nedokonalostiam vyplývajúcim z opakujúcich sa dát pri prispôsobovaní sa neštvorcovým obrázkom. Haji Ali poznamenal, že tento proces zahŕňa najprv získanie globálneho skóre zachytávajúceho celkovú štruktúru obrázku a následne vyplnenie detailov na úrovni pixelov v sekciách. Táto metóda umožňuje generovanie jasnejších obrázkov v rôznych pomeroch strán bez potreby ďalšieho tréningu modelu. Aj keď ElasticDiffusion ponúka zlepšenú konzistenciu a prispôsobivosť pri generovaní obrázkov, má to jednu nevýhodu: v súčasnosti vyžaduje 6-9 krát viac času na vytvorenie obrázkov v porovnaní s konvenčnými difúznymi modelmi. Haji Ali má v pláne optimalizovať túto metódu, aby dosiahol ekvivalentné časy inferencie, zatiaľ čo zachová schopnosť generovať kvalitné obrázky bez ohľadu na pomer strán.