Rannsóknarhópur hjá ByteDance hefur þróað byltingarkennda gervigreindarkerfi sem breytir einstaklings ljósmyndum í raunsæja myndbönd af fólki sem talar, syngur og hreyfir sig lífvana—nýjung sem hefur möguleika á að umbreyta raftengdum afþreyingum og samskiptum. Það nýlega þróaða kerfi, kallað OmniHuman, framleiðir heildar líkamsmyndbönd sem sýna einstaklinga gera merkjamyndir og hreyfa sig í samhljóm við tal þeirra, og yfirvinnur takmarkanir fyrri gervigreindarmódela sem aðeins hreyfðu andlit eða efri líkamann. Þjálfun OmniHuman fól í sér impraðandi 18, 700 klukkustundir af myndbandagögnum til að auðvelda raunsæjar hreyfingar. Samkvæmt rannsóknarhópi ByteDance, sem birti niðurstöður sínar á arXiv, "Hefur end-to-end mannsmyndaþjálfun séð verulegar framfarir á síðustu árum. Engu að síður, glíma núverandi aðferðir enn við að stækka sem umfangsmiklar almennar myndbandasköpunarmódela, sem takmarkar hagnýtingu þeirra. " Til að búa til OmniHuman nýtti hópurinn nýstárlegt fyrirkomulag sem felur í sér yfir 18, 700 klukkustundir af mannlegum myndböndum, samþættandi ýmis inntök—texta, hljóð og líkamsþrif. Þetta "omni-skilyrðingar" þjálfunaraðferð gerir gervigreindinni kleift að draga úr miklu stærri og fjölbreyttari gagnasöfnum en fyrri tækni. Þetta byltingarkennda tækni í gervigreindarmyndbandasköpun sýnir heildar hreyfingar og náttúrulegar merkjamyndir. Rannsóknarhópurinn tók fram: "Helsta innsýn okkar er að samþætting margra skilyrðinga, svo sem texta, hljóðs og líkamsstöðu, í þjálfun getur merkilega dregið úr gagnasóun. " Þessi tækni táknar stórt skref fram á við í gervigreindarskapaðri miðlun, með getu til að framleiða myndbönd af einstaklingum sem flytja ræður og sýna viðfangsefni spila músík tól.

Í tilraunum fór OmniHuman fram úr núverandi kerfum í ýmsum gæðametrik. Með því að tæknirisar eins og Google, Meta og Microsoft keppa um að þróa næstu kynslóðina af myndbandagervigreindartækni, gæti framfarir ByteDance veitt samkeppnisforskot fyrir TikTok móðurfyrirtæki þess á þessu fljótar þróunar sviði. Sérfræðingar telja að þessi tækni hafi möguleika á að umbreyta framleiðslu á afþreyingu, sköpun fræðsluefnis og rafrænum samskiptum. Hins vegar vekur það einnig upp áhyggjur um mögulega misnotkun á sýndar miðlun í blekkingaskyni. Rannsakendur hyggjast kynna niðurstöður sínar á komandi ráðstefnu um tölvusjón, þó að þeir hafi enn ekki tilkynnt sérstök úrræði.