Tirsdag afslørede Google Veo 3, en ny AI-videosyntese-model, der kan opnå noget, ingen større AI-videogenerator tidligere har formået: at producere et synkroniseret lydspor sammen med videoen. Mellem 2022 og 2024 var tidlige AI-genererede videoer stille og generelt meget korte. Nu leverer Veo 3 otte sekunders højtopløselige klip komplet med stemmer, dialog og lydeffekter. Efter lanceringen blev folk straks mødt med det indlysende benchmark-spørgsmål: Hvor godt kan Veo 3 lave en fake Oscar-vindende skuespiller Will Smith, der spiser spaghetti? Et hurtigt tilbageblik: "Spaghetti-benchmarket" i AI-video begyndte i marts 2023 med en tidlig, ret uhyggelig AI-genereret video lavet med en open-source syntesemodel kaldet ModelScope. Det spaghetti-eksempel blev så velkendt, at Smith næsten et år senere, i februar 2024, lod sig lave parodi på det. Her er en påmindelse om, hvordan den oprindelige virale video så ud: Hvad der ofte glemmes, er, at Smith-parodien på det tidspunkt ikke blev produceret med den bedste tilgængelige AI-videogenerator — en model kaldet Gen-2 fra Runway havde allerede leveret resultater af højere kvalitet, selvom den endnu ikke var offentligt tilgængelig. Alligevel var ModelScope-versionen mærkelig og mindeværdig nok til at blive et referencepunkt for de tidlige AI-videolimitations, efterhånden som teknologien udviklede sig. Tidligere på ugen svarede AI-app-udvikler Javi Lopez fans, der var ivrige efter at genbesøge spaghetti-testen med Veo 3, og delte sine resultater på X. Men da man så videoerne, virkede lydsporet underligt: den falske Smith lød som om, han knækkede spaghetti. Denne fejl opstår fra Voes 3's forsøg på at tilføje lydeffekter, sandsynligvis fordi træningsdataene indeholdt adskillige eksempler på tygge- og knaselyde. Generative AI-modeller fungerer som mønstergenkendende forudsigelsessystemer, der er afhængige af tilstrækkelig træning på tværs af forskellige medietyper for at kunne levere overbevisende output.

Når bestemte koncepter er over- eller underrepræsenteret i dataene, kan det føre til mærkelige genereringsartefakter som dette. Vi gennemførte også selv prompten på Veo 3, men “Will Smith” blev blokeret af Googles indholdsfiltre. Ved at bruge prompten “En sort mand, der spiser spaghetti, ” opnåede vi dog en lignende knasende lyd (Lopez kan have haft tidlig adgang uden filtre eller eksperimenteret med prompt-variationer, der gik igennem). Veo 3 imponerer med sin evne til at generere sammenhængende dialog og musik, og har allerede inspireret adskillige markante eksempler på X. Ikke at ville stoppe ved blot en video af en mand, der spiser meget al dente pasta, testede vi om figuren kunne synge og spise samtidigt ved at bruge prompten: “En mand, der synger en engelsk komediopera om spaghetti ved et køkkenbord, mens han spiser den. ” Vi har gjort betydelige fremskridt siden 2023, og AI-videogeneratorerne vil fortsætte med at forbedre sig i realisme og funktionalitet. Hvis det ikke var for Veo 3’s nuværende filter for kendte personer, kunne vi let lave videoer af Smith, der synger — eller laver næsten hvad som helst andet — hvilket illustrerer potentielle bekymringer omkring AI-videoteknologi. Den kulturelle singularitet nærmer sig hastigt. På den note har vi for nylig gennemført vores egen omfattende serie af videogennerings-tests med Veo 3 og vil snart dele resultaterne i en dedikeret artikel. Indtil videre kan du se dette som en kort opdatering på Ferske Prins af pastatiden. Velbekomme!