Výzkumníci společnosti ByteDance vytvořili revoluční AI systém, který převádí jednotlivé fotografie na realistická videa lidí, kteří mluví, zpívají a plynule se pohybují – inovace, která má potenciál zásadně změnit digitální zábavu a komunikaci. Nově vyvinutý systém, nazvaný OmniHuman, produkuje videa celé postavy, která zobrazují jednotlivce gestikulující a pohybující se v synchronizaci s jejich projevem, čímž překonává omezení dřívějších AI modelů, které animovaly pouze tváře nebo horní části těla. Trénink OmniHuman zahrnoval působivých 18 700 hodin video dat, aby umožnil realistický pohyb. Podle výzkumného týmu ByteDance, který zveřejnil své výsledky na arXiv, „end-to-end animace lidí zaznamenala v posledních letech významné zlepšení. Nicméně současné metody se stále potýkají s problémy s rozšiřitelností jako rozsáhlé modely generování videí, což omezuje jejich praktické využití. “ Pro vytvoření OmniHuman tým využil inovativní strategii zahrnující více než 18 700 hodin lidských video dat, integrující různé vstupy – text, audio a pohyby těla. Tato metoda trénování „omni-conditions“ umožňuje AI čerpat z mnohem větších a rozmanitějších datových sad než dřívější techniky. Tento průlom v generování AI videí předvádí pohyb celého těla a přirozené gestikulace. Výzkumná skupina poznamenala: „Naším hlavním poznatkem je, že integrace více podmiňujících signálů, jako je text, audio a pozice, během trénování může výrazně minimalizovat plýtvání daty. “ Tato technologie znamená zásadní pokrok v oblasti médií generovaných AI, s možnostmi zahrnujícími produkci videí jednotlivců, kteří přednášejí projevy a ilustrují předměty hrající na hudební nástroje.

V testech OmniHuman překonal stávající systémy v různých kvalitativních metrikách. Jak tech obři jako Google, Meta a Microsoft soutěží o vývoj technologií videa nové generace, pokrok společnosti ByteDance by mohl poskytnout konkurenční výhodu pro její mateřskou společnost TikTok v této rychle se vyvíjející oblasti. Odborníci se domnívají, že tato technologie má potenciál revolučně změnit produkci zábavy, vytváření vzdělávacího obsahu a digitální komunikaci. Nicméně také vyvolává obavy ohledně možného zneužívání syntetických médií ke klamavým účelům. Výzkumníci mají v úmyslu prezentovat své zjištění na nadcházející konferenci o počítačovém vidění, i když dosud nezveřejnili konkrétní detaily.