Istraživači iz ByteDance-a kreirali su revolucionarni AI sistem koji pretvara pojedinačne fotografije u realistične video snimke ljudi koji govore, pevaju i se kreću fluidno—inovacija koja bi mogla da revolucionizuje digitalnu zabavu i komunikaciju. Novi razvijeni sistem, nazvan OmniHuman, proizvodi video snimke cele figure koji prikazuju pojedince kako gestikuliraju i se kreću u skladu sa svojim govorom, prevazilazeći ograničenja ranijih AI modela koji su samo animirali lica ili gornje delove tela. Obuka OmniHuman-a uključivala je impresivnih 18. 700 sati video podataka kako bi se olakšalo realistična kretanja. Prema istraživačkom timu ByteDance-a, koji je objavio svoja otkrića na arXiv-u, “Animacija ljudi od početka do kraja je značajno napredovala u poslednjim godinama. Ipak, trenutne metode se još uvek bore da se skaliraju kao opsežni modeli generisanja video sadržaja, što ograničava njihove praktične primene. ” Da bi kreirali OmniHuman, tim je iskoristio inovativnu strategiju koja uključuje više od 18. 700 sati ljudskih video podataka, integrišući različite ulaze—tekst, audio i pokrete tela. Ova „omni-uslovna“ metoda obuke omogućava AI-u da koristi mnogo veće i raznovrsnije skupove podataka nego ranije tehnike. Ovo otkriće u AI generisanju videa prikazuje pokrete cele figure i prirodne geste. Istraživačka grupa je naglasila: “Naša glavna spoznaja je da integracija više uslovnih signala, kao što su tekst, audio i pozicija, tokom obuke može značajno smanjiti rasipanje podataka. ” Ova tehnologija označava veliki iskorak napred u medijima koje generiše AI, sa sposobnostima koje uključuju produkciju video snimaka pojedinaca koji drže govore i prikazivanje predmeta koji sviraju muzičke instrumente.

U testiranjima, OmniHuman je nadmašio postojeće sisteme u različitim metrikama kvaliteta. Dok tehnološki giganti poput Google-a, Meta-e i Microsoft-a konkuriraju u razvoju tehnologija video AI nove generacije, napredak ByteDance-a mogao bi pružiti konkurentsku prednost za njegovu matičnu kompaniju TikTok u ovom brzo evoluirajućem okruženju. Stručnjaci veruju da ova tehnologija ima potencijal da revolucionizuje proizvodnju zabave, kreiranje obrazovnog sadržaja i digitalnu komunikaciju. Međutim, takođe izaziva zabrinutost u vezi sa mogućom zloupotrebom sintetičkih medija u obmanjujuće svrhe. Istraživači planiraju da predstave svoja otkrića na predstojećoj konferenciji o računarstvu i viziji, iako još nisu objavili konkretne detalje.