Marți, Google a lansat Veo 3, un nou model de sinteză video AI capabil să atingă ceva ce niciun generator major de videoclipuri AI nu reușise până acum: producerea unui soundtrack sincronizat împreună cu videoclipul. Între 2022 și 2024, primele videoclipuri generate de AI erau silențioase și în general foarte scurte. Acum, Veo 3 oferă clipuri de opt secunde în înaltă definiție, complete cu voci, dialoguri și efecte sonore. După lansare, oamenii au pus imediat întrebarea evidentă: Cât de bine poate Veo 3 să imite actorul câștigător al Oscarului, Will Smith, mâncând spaghete? Un scurt recapitulativ: „benchmark-ul spaghete” în videoclipurile AI a început în martie 2023 cu un videoclip AI generat, destul de neliniștitor, creat folosind un model de sinteză open-source numit ModelScope. Acest exemplu cu spaghete a devenit atât de cunoscut încât Smith l-a parodiat aproape un an mai târziu, în februarie 2024. Iată cum arăta videoclipul viral original: Ce se uită adesea este că, la momentul respectiv, parodia cu Smith nu a fost realizată cu cel mai bun generator AI disponibil — un model numit Gen-2 de la Runway deja oferise rezultate de o calitate superioară, deși nu era încă accesibil publicului. Cu toate acestea, versiunea ModelScope a fost suficient de ciudată și memorabilă pentru a deveni un punct de referință pentru limitele timpurii ale clipurilor AI pe măsură ce tehnologia avansa. Mai devreme săptămâna aceasta, dezvoltatorul de aplicații AI, Javi Lopez, a răspuns fanilor dornici să reinterpreteze testul spaghettei folosind Veo 3, împărtășind descoperirile sale pe X. Totuși, când a urmărit rezultatele, coloana sonoră a părut neobișnuită: falsul Smith părea că mănâncă spaghete și că face zgomote de crunching. Această defecțiune provine din capacitatea experimentală a lui Veo 3 de a adăuga efecte sonore, probabil pentru că datele de antrenament au inclus numeroase exemple de mestecat însoțit de zgomote de crunching. Modelele generative AI funcționează ca sisteme de predicție bazate pe alegerea unor modele, bazându-se pe suficiente date de antrenament din diferite medii pentru a produce rezultate convingătoare.

Când anumite concepte sunt exagerat de reprezentați sau, dimpotrivă, sub-reprezentați în acele date, apar artefacte de generare ciudate, precum acesta. Am rulat și noi promptul pe Veo 3, dar „Will Smith” a fost blocat de filtrele de conținut ale Google. Totuși, utilizând promptul „Un bărbat negru mâncând spaghete”, am obținut un efect sonor similar de crunching (e posibil ca Lopez să fi avut acces anticipat fără filtre sau să fi experimentat cu variații ale promptului care au trecut filtrul). Veo 3 impresionează prin abilitatea sa de a genera dialoguri și muzică coerente, inspirând deja numeroase exemple remarcabile pe X. Neavând doar un videoclip cu un bărbat mâncând spaghete al dente, am testat dacă figura putea cânta și mânca în același timp, solicitând: „Un bărbat cântând o operetă de comedie în limba engleză despre spaghete, la o masă de bucătărie, în timp ce le mănâncă. ” Am făcut progrese semnificative față de 2023, iar generatorii de videoclipuri AI vor continua să se îmbunătățească în realism și funcționalitate. Dacă nu ar fi fost filtrul actual de celebrități al lui Veo 3, am putea face ușor videoclipuri în care Smith cântă sau face aproape orice altceva, ceea ce evidențiază potențiale preocupări legate de tehnologia video AI. Singularity-ul cultural se apropie cu repeziciune. În acest sens, recent am realizat propria serie amplă de teste de generare video cu Veo 3 și vom împărtăși rezultatele în curând într-un material dedicat. Pentru moment, consideră aceasta o scurtă actualizare despre „Fresh Prince al timpului noodle”. Poftă bună!