Во вторник Google представила Veo 3 — новую модель искусственного интеллекта для синтеза видео, способную достичь того, что раньше ни один крупный генератор видео на базе ИИ не мог: создание синхронной аудиодорожки вместе с видео. В период с 2022 по 2024 годы первые видео, созданные с помощью ИИ, были беззвучными и обычно очень короткими. Теперь Veo 3 показывает восьмисекундные高清-клипы с голосами, диалогами и звуковыми эффектами. После запуска сразу возник традиционный измерительный вопрос: насколько хорошо Veo 3 сможет подделать лауреата Оскара, актера Вилла Смита, поедая спагетти? Кратко напомню: «спагетти-бег» в ИИ-видео начался в марте 2023 года с раннего, довольно тревожного видео, созданного с помощью открытой модели синтеза под названием ModelScope. Этот пример с спагетти стал настолько известен, что почти через год, в феврале 2024-го, Смит высмеял его. Вот как выглядел изначальный вирусный ролик: Что часто забывают, так это то, что в то время пародия на Смита не создавалась с помощью самой лучшей доступной модели ИИ — моделью Gen-2 от Runway, которая уже давала более качественные результаты, хотя она ещё не была публично доступна. Тем не менее, версия ModelScope была достаточно странной и запоминающейся, чтобы стать ориентиром для первых ограничений технологий ИИ в видео по мере их развития. Ранее на этой неделе разработчик ИИ-приложений Хави Лопес ответил фанатам, желающим снова попробовать тест со спагетти с помощью Veo 3, поделившись своими наблюдениями в X. Однако при просмотре результатов звуковая дорожка показалась необычной: фальшивый Смит казался будто жует спагетти с хрустящим звуком. Эта сбойка связана с экспериментальной способностью Veo 3 добавлять звуковые эффекты, вероятно, потому, что его обучающие данные включали множество примеров жевания с хрустящими звуками. Генеративные модели ИИ работают как системы сопоставления образцов, делая прогнозы на основе достаточно богатых данных, покрывающих разные медиаформаты, чтобы создавать убедительные результаты.

Когда определённые концепции чрезмерно или недостаточно представлены в этих данных, возникают странные артефакты генерации, как этот. Мы также запустили собственный тест в Veo 3, однако запрос «Will Smith» был заблокирован фильтрами Google. Но при использовании запроса «Чёрный мужчина ест спагетти» получилось получить похожий хрустящий эффект (возможно, у Лопеса был ранний доступ без фильтров или он экспериментировал с вариациями запросов, которые прошли фильтрацию). Veo 3 впечатляет своей способностью генерировать связный диалог и музыку, уже вдохновляя множество ярких примеров на X. Не желая ограничиваться лишь видеороликом, где мужчина ест очень аль денте пасту, мы решили проверить, может ли фигура петь и есть одновременно, запросив: «Мужчина поёт на английском языке комическую оперу о спагетти за кухонным столом, при этом поедая её». С 2023 года мы достигли значительного прогресса, и создатели ИИ-видео продолжат совершенствоваться в реалистичности и функциональности. Если бы не нынешний фильтр знаменитостей Veo 3, то легко можно было бы создать видео, где Смит поёт — или делает практически что угодно, — что поднимает потенциальные опасения относительно технологий ИИ в видео. Культурная сингулярность приближается быстро. На этой ноте мы недавно провели собственную серию обширных тестов по созданию видео с Veo 3 и скоро поделимся результатами в специальной статье. А пока — короткое обновление о новом этапе Нутеллы-Принца. Приятного аппетита!