Във вторник Google представи Veo 3 — нов модел за изкуствен интелект за видеосинтезиране, способен да постигне нещо, което досега нито един голям генератор за AI видеа не е успявал: създаване на синхронизиран аудио път със самото видео. Между 2022 и 2024 година първоначалните AI-генерирани видеа бяха без звук и обикновено много кратки. Сега Veo 3 предлага осемсекундни висококачествени клипове, пълни с гласове, диалози и звукови ефекти. След старта хората веднага зададоха очевидния въпрос: До каква степен Veo 3 може да фалшифицира носителя на Оскар, Уил Смит, който яде спагети? Кратко напомняне: „стандартът за спагети“ в AI видеата започна през март 2023 г. с ранно, донякъде тревожно AI-генерирано видео, създадено с отворен модел за синтез, наречен ModelScope. Този пример с спагетите стана толкова известен, че Смит го spoof-ва почти година по-късно, през февруари 2024 г. Ето как изглеждаше оригиналната вирусна видео: Често забравяме, че по онова време пародиата с Смит не беше създадена с най-добрия AI видеогенератор. Моделът Gen-2 от Runway вече беше постигнал по-високо качество, макар и да не беше още достъпен за широка публика. Въпреки това, версията от ModelScope беше достатъчно странна и запомняща се, за да стане ориентир за ранните ограничения на AI видеата с напредването на технологиите. Ран тази седмица разработчикът на AI приложения Хави Лопес отговори на фенове, които искат да повторят теста с спагети, използвайки Veo 3, споделяйки откритията си в X. Обаче при прегледа на резултатите, звуковата част изглеждаше необичайна: фалшивият Смит звучеше сякаш хруска спагетите. Този бъг произлиза от експерименталната способност на Veo 3 да добавя звукови ефекти, вероятно защото обучаващите данни включваха многобройни примери за дъвчене с хрускащи звуци. Генеративните AI модели функционират като системи за предсказване чрез разпознаване на шаблони, като разчитат на достатъчно обучителни данни от различни видове медии, за да произвеждат убедителни резултати.

Когато определени концепции са прекалено много или твърде малко представени в тези данни, това води до странни генеративни артефакти като този. Също така ние ourselves проведохме опит с промпт към Veo 3, но „Уил Смит“ беше блокиран от филтрите на Google. Използването на промпта „Чернокож мъж яде спагети“ обаче доведе до подобен ефект на хрускащи звуци (вероятно Лопес е имал ранен достъп без филтри или е експериментирал с вариации на промпта, които са преминали филтрите). Veo 3 впечатлява с умението си да създава смислени диалози и музика, вече вдъхновявайки множество впечатляващи примери в X. Не искайки да спираме само на видеа с мъж, който яде много твърда паста, направихме тест дали моделът може да пее и да яде едновременно, като зададохме: „Мъж, който пее английска комедийна опера за спагети на кухненската маса, докато ги яде. “ От 2023 г. сме постигнали значителен напредък, а генераторите за AI видеа ще продължат да се подобряват по реализм и функционалност. Ако не беше текущата филтърна система за известни личности във Veo 3, лесно можехме да създадем видеа с пеенето на Смит или почти всичко друго, което подчертава потенциалните притеснения около технологията за AI видеа. Културната сингулярност се приближава бързо. По тази причина наскоро направихме собствена обстойна серия от тестове за генериране на видеа с Veo 3 и скоро ще споделим резултатите в отделна публикация. Засега това е кратка новина за „Fresh Prince of Noodletime“. Добър апетит!