Швидке створення високоякісних зображень є важливим для створення реалістичних симульованих середовищ, які допомагають тренувати автономні автомобілі безпечно орієнтуватися в непередбачуваних небезпеках. Однак нинішні технології генеративного ШІ, зокрема дифузійні моделі, часто є занадто повільними і вимагають значних обчислювальних ресурсів. У той час як авторегресивні моделі, такі як ті, що забезпечують роботу великих мовних моделей (LLM) як ChatGPT, працюють набагато швидше, вони зазвичай продукують зображення нижчої якості, наповнені помилками. Дослідники з MIT та NVIDIA представили HART (Гібридна авторегресивна трансформерна модель), новий метод генерації зображень, який поєднує переваги обох підходів. HART використовує авторегресивну модель для швидкого окреслення основних рис зображення і потім застосовує меншу дифузійну модель для уточнення цих деталей. Цей інноваційний інструмент генерує зображення, які рівняються або перевершують якість сучасних дифузійних моделей, але працює приблизно в дев'ять разів швидше і з меншими витратами обчислювальних ресурсів, що дозволяє використовувати його на звичайних ноутбуках і смартфонах. Застосування HART включає допомогу дослідникам у навчанні роботів для складних завдань і допомогу дизайнерам у створенні захоплюючих сцен для відеоігор.

«Так само, як уточнення грубої картини з детальними мазками пензля підвищує її якість, HART поєднує широке генерацію зображень з ретельною деталізацією», — говорить Хаотянь Танг, один з головних авторів дослідження. Дифузійні моделі, які потребують численних етапів для зменшення шуму в зображеннях, можуть створювати надзвичайно детальні візуалізації, але є повільними та ресурсоємними. Натомість авторегресивні моделі генерують зображення швидше, створюючи шматочки послідовно, але страждають від втрати інформації, що призводить до нижчої якості. HART компенсує ці обмеження, спочатку передбачаючи дискретні токени зображення з допомогою авторегресивної моделі, а потім використовуючи дифузійну модель для відновлення будь-яких відсутніх деталей, що дозволяє отримувати швидкі та високоякісні зображення за всього вісім кроків. Під час розробки дослідники стикалися з проблемами інтеграції, але покращили якість HART, застосувавши дифузійну модель лише для прогнозування залишкових токенів. Їхнє фінальне рішення використовує авторегресивну модель з 700 мільйонами параметрів разом з дифузійною моделлю на 37 мільйонів параметрів, досягаючи якості зображень, порівнянної з більшими дифузійними моделями (до 2 мільярдів параметрів) при споживанні на 31% менше обчислювальної потужності. Група планує надалі розвивати архітектуру HART для створення моделей зору-мови та досліджувати застосування у генерації відео та прогнозуванні аудіо, потенційно революціонізуючи взаємодії з генеративними моделями. Це дослідження підтримувалося різними організаціями, включаючи MIT-IBM Watson AI Lab та NVIDIA, які надали ресурси GPU для навчання моделі.