Google Veo 3 AI-video generaator: heli ja video sünkroniseerimine muljetavaldava realismiga

Esmaspäeval tutvustas Google uut AI-video sünteesimudelit Veo 3, mis suudab saavutada midagi, mida ükski suur AI-video generaator varem ei ole suutnud: sünteesida üheaegselt sünkroniseeritud heli- ja videostsenaariumit. Aastatel 2022–2024 olid varajased AI-l põhinevad videod vaiksed ja üldiselt väga lühiajalised. Nüüd pakub Veo 3 kaheksakroonilisi kõrge definitsiooni klippe koos häälte, dialoogide ja heliefektidega. Pärast käivitamist esitasid inimesed kohe ilmselge mõõduka küsimuse: Kui hästi suudab Veo 3 luua võltsitud Oscarivõitnud näitleja Will Smithi, kes sööb spagette? Kiire kokkuvõte: AI videote "spagettide mõõdupuu" algas märtsis 2023, kui kasutati avatud lähtekoodiga sünteesimudelit nimega ModelScope loodud varajane, üsna ebameeldiv AI-generatsiooniga video. See spagetivideo saavutas nii palju tuntust, et Smith parodeeris seda peaaegu aasta hiljem, 2024. veebruaris. Siin on meeldetuletus sellest, kuidas originaalviiruslik video välja nägi: Moe sageli unustatakse, et tol ajal ei tehtud Smithi paroodiaga tõeliselt parimat AI-video generaatorit, vaid juba Runway'i Gen-2 mudel oli andnud kvaliteetsemad tulemused, kuigi see polnud veel avalikult saadaval. Still, ModelScope'i versioon oli piisavalt kummaline ja meeldejääv, et sellest saaks varajaste AI-videote piirangute viide, kui tehnoloogia arenes. Veelsel nädalal reageeris AI rakenduse arendaja Javi Lopez fännidele, kes soovisid spagettide testi Veo 3 abil uuesti katsetada, jagades oma tulemusi X-is. Kuid vaatamise ajal tundus heliriba eriline: võlts Smith kõlas nagu ta mälus näriks spagette. See rike tekitas Veo 3 eksperimentaalse võime tõttu lisada heliefekte, tõenäoliselt kuna selle treeningandmetesse oli kaasatud palju näiteid närimisest koos krõmpsuva heliga. Generatiivsed AI-mudelid toimivad muster-põhise ennustussüsteemina, sõltuvalt piisavast koolitusandmestikust erinevates meediasisendites, et genereerida veenvaid tulemusi.
Kui teatud kontseptsioone on andmestikus üle- või alareivestatud, tekivad sellised kummalised genereerimisvead. Meie ise jooksutasime ka Veo 3-le sama päringu, kuid "Will Smith" oli Google'i sisu filtrite poolt blokeeritud. Kasutades päringut "Must mees, kes sööb spagette", saime aga sarnaneva krõmpsuva heliefekti (võib-olla oli Lopezil varajane vabaduskatsetuse ligipääs või experimentaalsed variandid, mis ei olnud filtriga takistatud). Veo 3 muljetab oma võimega genereerida järjepidevat dialoogi ja muusikat ning inspireerib juba paljusid silmapaistvaid näiteid X-is. Ei soovinud piirduda vaid mehega, kes sööb väga al dente nuudleid, vaid katsetasime, kas figuur võiks laulda ja samal ajal süüa, kasutades päringut: "Mees lauleb inglisekeelset komöödiateatri ooperit spagettide kohta, tehes seda köögilauas samal ajal sõõrdes". Meie oleme saavutanud märkimisväärset arengut alates 2023. aastast ning AI-video generaatorid jätkavad realismi ja funktsionaalsuse paranemist. Kui praegune Veo 3 kuulsusfiltri poleks, võiksime kergesti luua videoid Smithist laulmas või teinud peaaegu kõike muud – mis kõneleb AI-videote tehnoloogia võimalikest probleemidest. Kultuuriline singulariteet on kiiresti lähenemas. Sel puhul viisime hiljuti läbi oma ulatusliku videogenesisitesti sarja Veo 3 abil ja jagame need tulemused peagi spetsiaalses artiklis. Praegu on see lühike ülevaade noodlipreili värskest ajast. Bon appétit!
Brief news summary
Google on tutvustanud Veo 3, täiustatud tehisintellekti videote loomise mudelit, mis suudab genereerida sünkroniseeritud kaheksasekundilisi HD-videosid koos heliga, dialoogide ja heliefektidega—üle läinud varasemate tööriistade, mis piirdusid vaiksete või väga lühikeste klippidega. Katsetes õnnestus Veo 3-l edukalt rekonstrueerida võrdlustest, korrates Oscariga pärjatud näitleja Will Smithi spagettide söömist madala kvaliteediga 2023. video põhjal. Kuigi mudel sünkroniseeris video ja heli tõhusalt, tekitas spagettidest stseenis ebameeldiva “krõmpsuva” heli, mis ilmselt tingitud koolitusandmete kallutatustest ning rõhuasetusest närimishäältele. Sisufiltrid takistavad otsest “Will Smith” juhiste kasutamist, kuid sarnased sisendid põhjustavad siiski heli glitch’e. Vaatamata nendele väljakutsetele on Veo 3 suurepärane koherentsete dialoogide ja muusika loomisel, inspireerides loomingulisi projekte nagu komöödiline spagettide ooper. See areng on olulise sammu edasi realistliku AI-põhise multimeedia suunas, kuigi kuulsuste kopeerimise piirangud jätkuvad ning tekitavad uusi takistusi. Veo 3 väljaandmine on vallandanud kultuurilised arutelud AI-videote realismi teemal ning toob “Värske Printsessi” spagettidest loosse uue pöörde, samal ajal kui katsetused jätkuvad.
AI-powered Lead Generation in Social Media
and Search Engines
Let AI take control and automatically generate leads for you!

I'm your Content Manager, ready to handle your first test assignment
Learn how AI can help your business.
Let’s talk!

Tehisintellekti võistlus kiireneb suuremate tehno…
Tehisintelligentsi tööstus koges eelmisel nädalal märkimisväärset arengute voogu, rõhutades kiiret innovatsiooni ja tihedat konkurentsi juhtivate tehnoloogiafirmade vahel.

Kas Google suudab ikka veel otsingut valitseda te…
Google'i 2025.

Washington liigub krüptode suunas: Stabiilsecoin'…
Selle nädala osas Byte-Sized Insight’i saates Decentralize koos Cointelegraphiga uurime olulist arengut USA krüptoseaduses.

Digitaalse vara juhend: miks aktsiaturge tokenise…
Olgu möödunud üle 15 aasta esimese bitcoin'i loomisest ning krüptovaluutad teostavad nüüd osaliselt oma varaseid lubadusi, muutes pikaaegseid finantssektoreid.

Siin on kuus suurimat järeldust Google I/O-st, ku…
Sel aastal Google I/O konverentsil tegi tehnoloogiahiiu umbes 100 teadet, mis näitas tema ambitsioone vallutada tehisintellekti eri valdkondades — alates otsingu täiustamisest kuni tehisintellekti mudelite ja kantavalahenduste uuendamiseni.

Bitcoin hüppab üle 111 000 dollari: Blockchain Pi…
Bitcoin meelitab taas ülemaailmset tähelepanu, tõustes esmakordselt üle 111 000 dollari, seda suurendavad institutsionaalsed investorid, muutuvad geopoliitilised rahanduslikud dünaamikad ning taaselustatud krüptoeelse tõusu laine.

Mida arvab tehisintellekt, mis juhtub sündimata k…
Trump versus CASA inimeste AI-testes: Ülemkohtukohtumiste simulatsioon Eelmisel nädalal kuulas Ülemkohus Trump versus CASA, Inc