På tisdag avslöjade Google Veo 3, en ny AI-bildgenereringsmodell som kan åstadkomma något som ingen större AI-video generator tidigare lyckats med: producera en synkroniserad ljudspår tillsammans med videon. Mellan 2022 och 2024 var tidiga AI-genererade videor tysta och oftast mycket korta. Nu levererar Veo 3 åttasekunders högupplösta klipp komplett med röster, dialoger och ljudeffekter. Efter lanseringen ställde folk genast den självklara benchmark-frågan: Hur bra kan Veo 3 lura att det är Oscar-vinnaren Will Smith som äter spaghetti? En snabb recap: "Spaghetti-benchmark" i AI-video började i mars 2023 med en tidig, ganska omskakande AI-genererad video som skapades med en öppen källkods-syntesmodell kallad ModelScope. Det där spaghetti-exemplet blev så välkänt att Smith skämtade om det nästan ett år senare, i februari 2024. Här är en påminnelse om hur den ursprungliga virala videon såg ut: Vad som ofta glöms bort är att Smith-parodin vid den tidpunkten inte producerades med den bästa AI-videogeneratorn som fanns tillgänglig — en modell kallad Gen-2 från Runway hade redan levererat högre kvalitet, även om den inte var tillgänglig för allmänheten än. Trots det var ModelScope-versionen märklig och minnesvärd nog att bli en referenspunkt för de tidiga AI-videons begränsningar när teknologin utvecklades. Tidigare i veckan svarade AI-applikationsutvecklaren Javi Lopez på fans som ivrigt ville återbesöka spaghetti-testet med Veo 3 och delade sina resultat på X. Men när man såg resultaten, kändes ljudspåret ovanligt: den falska Smith lät som om han gnisslade på spaghettin. Den här buggen beror på Veo 3:s experimentella förmåga att lägga till ljudeffekter, troligen eftersom träningen datamängd inkluderade många exempel på tuggande med knastrande ljud. Generativa AI-modeller fungerar som mönstergissnings- och prediktionssystem, som förlitar sig på tillräcklig träningsdata från olika medier för att producera övertygande resultat.

När vissa koncept är över- eller underrepresenterade i datan, kan det leda till konstiga genereringsartefakter som detta. Vi provade själva att använda samma prompt i Veo 3, men "Will Smith" var blockerad av Googles innehållsfilter. Däremot gav prompten “En svart man som äter spaghetti” ett liknande knastrande ljud (Lopez kan ha haft tidig tillgång till filterfri version eller testat variationer av prompten som gick igenom). Veo 3 imponerar med sin förmåga att generera sammanhängande dialog och musik och har redan inspirerat många slående exempel på X. Vill inte nöja oss med bara en video på en man som äter mycket al dente-nudlar, testade vi om figuren kunde sjunga och äta samtidigt genom att skriva: “En man som sjunger en engelskspråkig komediopera om spaghetti vid ett köksbord medan han äter den. ” Vi har gjort stora framsteg sedan 2023, och AI-videogeneratorer kommer fortsätta att förbättras i realism och funktionalitet. Om det inte vore för Veo 3:s nuvarande filter för kändisar, skulle vi lätt kunna skapa videor av Smith som sjunger—eller gör nästan vad som helst annat—which belyser potentiella oro kring AI-videotekniken. Den kulturella singulariteten närmar sig snabbt. På tal om det, genomförde vi nyligen en egen omfattande serie av videogenereringstester med Veo 3 och kommer snart att dela resultaten i en dedikerad artikel. För tillfället, se detta som en kort uppdatering om Nudel-Prinsen. Smaklig måltid!