Увівторок, Google презентував Veo 3 — нову модель штучного інтелекту для синтезу відео, здатну досягти того, що жоден великий генератор AI відео раніше не вміг зробити: створювати синхронізований аудіотрек разом із відео. У період з 2022 по 2024 рік ранні відео, створені за допомогою AI, були мовчазними і зазвичай дуже короткими. Тепер Veo 3 надає восьмисекундні високоякісні кліпи з голосами, діалогами і звуковими ефектами. Після запуску люди одразу поставили очевидне питання щодо критеріїв оцінки: наскільки добре Veo 3 може підробити Оскара для актора Вілу Сміта, який їсть спагеті? Короткий огляд: «спагетті-бенчмарк» у AI відео почався у березні 2023 року з раннього, досить тривожного відео, створеного за допомогою відкритої моделі синтезу під назвою ModelScope. Цей приклад з спагеті став настільки відомим, що Сміт з пародією повторив його майже через рік, у лютому 2024. Ось нагадування, як виглядав оригінальний вірусний ролик: Зазвичай забувають, що тоді пародія на Сміта не була створена найкращим доступним AI-генератором — модель під назвою Gen-2 від Runway вже давала більш високоякісні результати, хоча вона ще не була публічно доступною. Втім, версія від ModelScope була досить дивною та впізнаваною, щоб стати орієнтиром для перших обмежень AI відео у процесі розвитку технології. Раніше цього тижня розробник AI-додатків Хаві Лопес відповів фанатам, які прагнули повторити тест із спагетті за допомогою Veo 3, поділившись своїми висновками у X. Однак, дивлячись на результати, звуковий супровід видавався незвичним: фальшивий Сміт звучав так, ніби хрумав спагетті. Ця помилка виникла через експериментальні можливості Veo 3 додавати звукові ефекти, ймовірно, тому, що його навчальні дані містили багато прикладів жування з хрускотом. Генеративні моделі AI працюють як системи прогнозування, що шукають шаблони, опираючись на достатню кількість навчальних даних з різних медіа, щоб створювати переконливий контент.

Коли певні концепції пере— або недооцініюються в цих даних, це може спричинити дивні артефакти у згенерованому відео. Ми також самі протестували цей запит на Veo 3, але «Will Smith» був заблокований фільтрами Google. Проте запит «чорний чоловік, який їсть спагетті» дав подібний хрумкій звуковий ефект (можливо, Лопес мав ранній доступ без фільтрів або експериментував із варіаціями запитів, що пройшли через фільтри). Veo 3 вражає своєю здатністю створювати логічний діалог і музику, вже надихаючи багато вражаючих прикладів у X. Не зупиняючись лише на відео чоловіка, що їсть дуже аль денте спагетті, ми перевірили, чи може ця фігура співати і їсти одночасно, запропонувавши: «Чоловік співає англійською комедичну оперу про спагетті за кухонним столом під час їжі». З 2023 року ми зробили значний прогрес, і генератори відео AI продовжать удосконалюватися у реалістичності й функціональності. Якби не поточний фільтр знаменитостей Veo 3, ми могли б легко створювати відео із співом Сміта — або щось ще, що ще більше підкреслює потенційні занепокоєння щодо технологій AI відео. Культурна сингулярність швидко наближається. З цієї нагоди ми нещодавно провели власну масштабну серію тестів з генерації відео за допомогою Veo 3 і скоро поділимося результатами в спеціальній публікації. А поки що — коротке оновлення про «Свежого принца» у танці з локшиною. Смачного!