Ang mga mananaliksik sa ByteDance ay lumikha ng isang makabagong sistema ng AI na nagko-convert ng mga indibidwal na litrato sa mga makatotohanang video ng mga tao na nagsasalita, umaawit, at kumikilos ng maayos—isang inobasyon na naglalayong baguhin ang digital na entertainment at komunikasyon. Ang bagong binuo na sistema, na tinawag na OmniHuman, ay bumubuo ng mga full-body video na nagpapakita ng mga indibidwal na kumikilos at gumagalaw kasabay ng kanilang pagsasalita, na nalampasan ang mga limitasyon ng mga naunang modelo ng AI na tanging mukha o itaas na bahagi lamang ang nagiging animated. Ang pagsasanay sa OmniHuman ay nangangailangan ng kahanga-hangang 18, 700 oras ng video data upang mapadali ang makatotohanang paggalaw. Ayon sa research team ng ByteDance, na naglathala ng kanilang mga natuklasan sa arXiv, “Ang end-to-end na human animation ay nagkaroon ng makabuluhang pag-unlad sa mga nakaraang taon. Gayunpaman, ang mga kasalukuyang pamamaraan ay nahihirapang mag-scale up bilang malawak na mga modelo ng general video generation, na naglilimita sa kanilang praktikal na aplikasyon. ” Upang malikha ang OmniHuman, ginamit ng team ang isang makabagong diskarte na kinabibilangan ng higit sa 18, 700 oras ng human video data, na pinagsasama ang iba't ibang input—teksto, audio, at body movements. Ang “omni-conditions” na pamamaraan ng pagsasanay na ito ay nagpapahintulot sa AI na kumuha mula sa mas malalaki at mas iba't ibang datasets kaysa sa mga naunang teknolohiya. Ang makabagong hakbang na ito sa AI video generation ay nagpapakita ng full-body movement at natural na gestures. Tinalakay ng research group, “Ang aming pangunahing pananaw ay ang pagsasama ng maraming conditioning signals, tulad ng teksto, audio, at pose, sa panahon ng pagsasanay ay makabuluhang makakapagbawas ng pag-aaksaya ng data. ” Ang teknolohiyang ito ay nagpapahayag ng isang malaking hakbang pasulong sa AI-generated media, na may mga kakayahang kabilang ang paggawa ng mga video ng mga indibidwal na nagbibigay ng mga talumpati at naglalarawan ng mga paksa na tumutugtog ng mga instrumentong musikal.

Sa mga pagsubok, nalampasan ng OmniHuman ang mga umiiral na sistema sa iba't ibang quality metrics. Habang ang mga tech giant tulad ng Google, Meta, at Microsoft ay nakikipagkumpitensya upang bumuo ng susunod na henerasyong teknolohiya ng video AI, ang pag-unlad ng ByteDance ay maaaring magbigay ng kompetitibong bentahe para sa kanyang parent company na TikTok sa mabilis na umuusbong na larangang ito. Naniniwala ang mga eksperto na ang teknolohiyang ito ay may potensyal na baguhin ang produksyon ng entertainment, paggawa ng educational content, at digital na komunikasyon. Gayunpaman, nagdudulot din ito ng mga alalahanin tungkol sa posibleng maling paggamit ng synthetic media para sa mapanlinlang na layunin. Nais ng mga mananaliksik na ipakita ang kanilang mga natuklasan sa isang nalalapit na kumperensya sa computer vision, bagaman hindi pa nila inihayag ang mga tiyak na detalye.