Генеративний штучний інтелект (ШІ), включаючи моделі такі як Stable Diffusion, Midjourney та DALL-E, часто стикається з проблемами створення послідовних зображень, особливо коли мова йде про деталі, такі як симетрія обличчя та правильне представлення пальців. Ці моделі зазвичай генерують квадратні зображення, що призводить до проблем при створенні зображень у різних співвідношеннях сторін, в результаті чого виникають аномалії, такі як додаткові пальці або спотворені форми. Щоб вирішити ці проблеми, комп'ютерні вчені з Університету Райса розробили ElasticDiffusion, новий метод, що використовує попередньо натреновані моделі дифузії. Мойєд Хаджі Алі, аспірант Університету Райса, представив цей метод на Конференції з комп'ютерного зору та розпізнавання образів IEEE 2024 у Сіетлі. Хаджі Алі пояснив, що традиційні моделі дифузії можуть генерувати зображення лише з певною роздільною здатністю, що є наслідком перенавчання, коли модель ШІ добре працює з відомими даними, але має проблеми з варіаціями.

ElasticDiffusion поліпшує підхід шляхом розділення локальної та глобальної інформації під час генерації зображень, а не їх об'єднання. Це розділення допомагає уникнути візуальних недоліків, що виникають в результаті адаптації до не квадратних зображень. Хаджі Алі зазначив, що процес включає спочатку отримання глобального балу, що відображає загальну структуру зображення, після чого заповнюються деталі на рівні пікселів у секціях. Цей метод дозволяє створювати чіткіші зображення у різних співвідношеннях сторін без необхідності додаткового навчання моделі. Хоча ElasticDiffusion пропонує підвищену консистентність та адаптивність у генерації зображень, він має недолік: наразі для створення зображень йому потрібно у 6-9 разів більше часу порівняно з традиційними моделями дифузії. Хаджі Алі прагне оптимізувати метод, щоб досягти еквівалентного часу виведення, зберігаючи при цьому здатність генерувати високоякісні зображення незалежно від співвідношення сторін.