Vedci z ByteDance vytvorili revolučný systém AI, ktorý premení jednotlivé fotografie na realistické videá ľudí, ktorí hovoria, spievajú a plynulo sa pohybujú – inovačný krok, ktorý má potenciál zmeniť digitálnu zábavu a komunikáciu. Novovytvorený systém, nazvaný OmniHuman, produkuje videá celého tela, ktoré zobrazujú jednotlivcov gestikulujúcich a pohybujúcich sa v súlade s ich rečou, prekonávajúc obmedzenia predchádzajúcich modelov AI, ktoré animovali iba tváre alebo horné časti tiel. Tréning OmniHuman zahŕňal pôsobivých 18 700 hodín videodat, aby sa zabezpečil realistický pohyb. Podľa výskumnej skupiny ByteDance, ktorá zverejnila svoje zistenia na arXiv, „animácia ľudí od začiatku do konca zaznamenala v posledných rokoch výrazné zlepšenia. Napriek tomu sú súčasné metódy stále obmedzené v škálovateľnosti ako rozsiahle generátory videí, čo obmedzuje ich praktické aplikácie. “ Na vytvorenie OmniHuman tím využil inovatívnu stratégiu zahŕňajúcu viac ako 18 700 hodín videodat ľudí a integroval rôzne vstupy – text, zvuk a pohyby tela. Táto tréningová metóda „omni-podmienok“ umožňuje AI čerpať z oveľa väčších a rozmanitejších databáz ako predchádzajúce techniky. Tento prelom v generovaní videí AI prezentuje pohyb celého tela a prirodzené gestá. Výskumná skupina poznamenala: „Naším hlavným postrehom je, že integrácia viacerých podmienkových signálov, ako je text, zvuk a póza, počas tréningu môže významne minimalizovať plytvanie dátami. “ Táto technológia predstavuje výrazný pokrok v mediatvorbe generovanej AI, pričom jej schopnosti zahŕňajú producovanie videí jednotlivcov, ktorí prednášajú alebo ilustrujú hudobné nástroje.

V testoch OmniHuman prekonal existujúce systémy vo viacerých kvalitativných metrikách. Keďže technologickí giganti ako Google, Meta a Microsoft súťažia vo vývoji technológií videa AI novej generácie, pokrok ByteDance by mohol poskytnúť konkurenčnú výhodu jeho materskej spoločnosti TikTok v tejto rýchlo sa vyvíjajúcej oblasti. Odborníci veria, že táto technológia má potenciál revolučne zmeniť produkciu zábavy, tvorbu vzdelávacieho obsahu a digitálnu komunikáciu. Avšak tiež vyvoláva obavy o možné zneužitie syntetických médií na klamné účely. Vedci plánujú predstaviť svoje zistenia na nadchádzajúcej konferencii o počítačovom videní, aj keď zatiaľ neohlásili konkrétne podrobnosti.