Stable Diffusion, Midjourney, DALL-E와 같은 모델을 포함한 생성형 인공지능(AI)은 특히 얼굴 대칭성과 적절한 손가락 표현과 같은 세부 사항에서 일관된 이미지를 생성하는 데 어려움을 겪습니다. 이러한 모델은 일반적으로 정사각형 이미지를 생성하므로 다양한 종횡비의 이미지를 생성하려고 할 때 추가 손가락이나 왜곡된 모양과 같은 이상이 발생합니다. 이러한 문제를 해결하기 위해 Rice 대학의 컴퓨터 과학자들은 사전 훈련된 확산 모델을 활용한 새로운 방법인 ElasticDiffusion을 개발했습니다. Rice 대학의 박사 과정 학생인 Moayed Haji Ali는 시애틀에서 열린 IEEE 2024 컴퓨터 비전 및 패턴 인식 학회에서 이 방법을 발표했습니다. Haji Ali는 전통적인 확산 모델이 특정 해상도에서만 이미지를 생성할 수 있다고 설명했습니다. 이는 AI 모델이 익숙한 데이터에서는 잘 수행되지만 변형 데이터에서는 어려움을 겪는 과적합의 결과입니다. ElasticDiffusion은 이미지 생성 중 로컬 정보와 글로벌 정보를 분리하여 접근 방식을 개선합니다.

이 분리는 비정사각형 이미지에 적응할 때 반복적인 데이터로 인한 시각적 결함을 피하는 데 도움을 줍니다. Haji Ali는 이 과정이 이미지의 전반적인 구조를 캡슐화하는 글로벌 점수를 처음에 얻은 다음 섹션별로 픽셀 수준의 세부 사항을 채우는 것이라고 언급했습니다. 이 방법은 추가 모델 훈련 없이 다양한 종횡비에서 명확한 이미지를 생성할 수 있게 합니다. ElasticDiffusion은 이미지 생성에서 더 나은 일관성과 적응성을 제공하지만 현재 전통적인 확산 모델보다 이미지를 생성하는 데 6-9배 더 긴 시간이 필요합니다. Haji Ali는 종횡비에 상관없이 고품질 이미지를 생성할 수 있는 능력을 유지하면서 해당 방법의 추론 시간을 기존 방법과 동일한 수준으로 최적화하는 것을 목표로 하고 있습니다.