ByteDance:n tutkijat ovat kehittäneet mullistavan tekoälyjärjestelmän, joka muuntaa yksittäiset valokuvat realistisiksi videoiksi ihmisistä puhumassa, laulamassa ja liikkuessa sulavasti—innovaation, joka on valmis vallankumoustamaan digitaalista viihdettä ja viestintää. Uudella OmniHuman-nimellä tunnetulla järjestelmällä tuotetaan koko kehon videoita, joissa yksilöt liikkuvat ja elehtivät synkronoituna puheensa kanssa, voittaen aikaisempien tekoälymallien rajoitukset, jotka animaatioivat vain kasvoja tai ylävartaloita. OmniHumanin kouluttamisessa käytettiin vaikuttavat 18 700 tuntia videodata, jotta saataisiin aikaan realistista liikettä. ByteDance:n tutkimusryhmän mukaan, joka julkaisi havainnot arXivissa, “Päättä kymmenen vuotta kestäneessä ihmisten animaatiossa on nähty merkittäviä parannuksia viime vuosina. Silti nykyaikaiset menetelmät kamppailevat edelleen skaalautumisen kanssa laajoiksi yleisiksi videonluontimalleiksi, rajoittaen niiden käytännön sovelluksia. ” OmniHumanin luomiseksi tiimi käytti innovatiivista strategiaa, joka sisälsi yli 18 700 tuntia ihmisten videodata, yhdistäen erilaisia syötteitä—tekstiä, ääntä ja kehon liikkeitä. Tämä “omni-olosuhteiden” koulutusmenetelmä mahdollistaa tekoälyn hyödyntävän paljon suurempia ja monimuotoisempia aineistoja kuin aikaisemmat tekniikat. Tämä läpimurto tekoälyn videotuotannossa esittelee koko kehon liikettä ja luonnollisia eleitä. Tutkimusryhmä totesi: “Pääasiallinen oivalluksemme on, että useiden ehdollistavien signaalien, kuten tekstin, äänen ja asennon, integroiminen koulutuksen aikana voi merkittävästi vähentää datan hukkaa. ” Tämä teknologia merkitsee suurta harppausta tekoälyn tuottamassa mediassa, ja sen kykyihin kuuluu videoiden tuottaminen yksilöistä, jotka pitävät puheita ja esittävät aiheita soittamassa musiikkikappaleita.

Kokeiluissa OmniHuman ylitti nykyiset järjestelmät eri laatumittareilla. Kun teknologiajätit kuten Google, Meta ja Microsoft kilpailevat seuraavan sukupolven videoteknologioiden kehittämisestä, ByteDance:n edistysaskeleet saattavat antaa kilpailuetua TikTok-emoyhtiölle tässä nopeasti kehittyvässä ympäristössä. Asiantuntijat uskovat, että tällä teknologialla on potentiaalia vallankumouksellistaa viihdetuotanto, koulutussisältöjen luominen ja digitaalinen viestintä. Kuitenkin se herättää myös huolta mahdollisesta synteettisen median väärinkäytöstä petollisiin tarkoituksiin. Tutkijat aikovat esitellä havaintojaan tulevassa tietokonenäön konferenssissa, vaikka tarkkoja yksityiskohtia ei ole vielä ilmoitettu.