Быстрая генерация высококачественных изображений является необходимой для создания реалистичных симулированных сред, которые помогают обучать автономные автомобили безопасно справляться с непредсказуемыми опасностями. Однако текущие генеративные AI-техники, особенно диффузионные модели, зачастую слишком медлительны и требовательны к вычислительным ресурсам. В то время как авторегрессивные модели, такие как те, что стоят за LLM, такими как ChatGPT, работают намного быстрее, они, как правило, производят изображения низкого качества, полные ошибок. Исследователи из MIT и NVIDIA представили HART (Гибридный Авторегрессивный Трансформер), новый метод генерации изображений, который объединяет сильные стороны обоих подходов. HART использует авторегрессионную модель для быстрого очерчивания основных характеристик изображения, а затем применяет меньшую диффузионную модель для уточнения этих деталей. Этот инновационный инструмент генерирует изображения, которые соперничают с качеством современных диффузионных моделей или превосходят его, при этом работает примерно в девять раз быстрее и требует меньших вычислительных ресурсов, позволяя использовать его на обычных ноутбуках и смартфонах. Применения HART включают помощь исследователям в обучении роботов сложным задачам и содействие дизайнерам в создании увлекательных сцен для видеоигр.

«Точно так же, как уточнение грубой картины с помощью детализированных мазков кисти повышает её качество, HART сочетает широкую генерацию изображений с тщательной работой над деталями», — говорит Хаотиан Тан, один из ведущих авторов исследования. Диффузионные модели, которые требуют множества шагов для удаления шума с изображений, могут создавать высокодетализированные визуализации, но они медлительны и ресурсоемки. В отличие от этого, авторегрессивные модели генерируют изображения быстрее, создавая участки последовательно, но страдают от потери информации, что приводит к более низкому качеству. HART преодолевает эти ограничения, сначала предсказывая дискретные токены изображения с помощью авторегрессионной модели, а затем используя диффузионную модель для добавления любых недостающих деталей, что позволяет получать быстрые и качественные изображения всего за восемь шагов. В ходе разработки исследователи столкнулись с проблемами интеграции, но улучшили качество HART, применив диффузионную модель исключительно для предсказания остаточных токенов. Их окончательный дизайн использует авторегрессионную модель с 700 миллионами параметров и диффузионную модель с 37 миллионами параметров, достигая качества изображения, сопоставимого с более крупными диффузионными моделями (до 2 миллиардов параметров), при этом потребляя на 31% меньше вычислительной мощности. В будущем команда планирует развивать архитектуру HART для разработки моделей «зрение-язык» и исследовать применения в генерации видео и предсказании аудио, что может революционизировать взаимодействие с генеративными моделями. Это исследование поддерживалось различными организациями, включая MIT-IBM Watson AI Lab и NVIDIA, которые предоставили ресурсы GPU для обучения модели.