Istraživači iz ByteDancea kreirali su revolucionarni AI sistem koji pretvara pojedinačne fotografije u realistične video snimke ljudi koji govore, pjevaju i fluidno se kreću—inovacija koja će revolucionirati digitalnu zabavu i komunikaciju. Novi sistem, nazvan OmniHuman, stvara video snimke cijelih tijela koji prikazuju pojedince kako gestikuliraju i se kreću u sinhronizaciji sa svojim govorom, prevazilazeći ograničenja ranijih AI modela koji su animirali samo lica ili gornje dijelove tijela. Obuka OmniHuman-a uključivala je impresionantnih 18. 700 sati video podataka kako bi se omogućilo realističko kretanje. Prema istraživačkom timu ByteDancea, koji je objavio svoje nalaze na arXiv-u, “Animacija ljudi od kraja do kraja je uočila značajna poboljšanja u posljednjim godinama. Ipak, trenutne metode se još uvijek bore sa skaliranjem kao opsežni modeli generisanja općih video sadržaja, ograničavajući njihove praktične primjene. ” Da bi stvorili OmniHuman, tim je iskoristio inovativnu strategiju koja uključuje više od 18. 700 sati ljudskih video podataka, integrirajući razne ulaze—tekst, audio i pokrete tijela. Ova “omni-conditions” metoda obuke omogućava AI-u da koristi mnogo veće i raznovrsnije skupove podataka u odnosu na ranije tehnike. Ova prekretnica u generisanju AI video sadržaja prikazuje kretnje cijelog tijela i prirodne gestove. Istraživačka grupa je primijetila, “Naš primarni uvid je da integracija više signala uvjetovanja, kao što su tekst, audio i oblik, tokom obuke može značajno smanjiti rasipanje podataka. ” Ova tehnologija predstavlja veliki napredak u medijima generisanim AI-om, sa sposobnostima koje uključuju proizvodnju video snimaka pojedinaca koji drže govore i ilustriraju teme svirajući muzičke instrumente.

U testovima, OmniHuman je premašio postojeće sisteme u različitim metrikama kvalitete. Dok tehnološki divovi poput Google-a, Meta-e i Microsoft-a konkurišu u razvoju tehnologija video AI naredne generacije, napredak ByteDancea mogao bi pružiti konkurentsku prednost kompaniji TikTok u ovom brzo evoluirajućem pejzažu. Stručnjaci vjeruju da ova tehnologija ima potencijal da revolucionira proizvodnju zabavnog sadržaja, kreiranje obrazovnog materijala i digitalnu komunikaciju. Međutim, također postavlja zabrinutosti o mogućoj zloupotrebi sintetičkih medija u obmanjivačke svrhe. Istraživači namjeravaju prezentirati svoje nalaze na predstojećoj konferenciji o računalnom vidu, iako još uvijek nisu objavili specifične detalje.