I ricercatori di ByteDance hanno creato un sistema di intelligenza artificiale all'avanguardia che trasforma singole fotografie in video realistici di persone che parlano, cantano e si muovono in modo fluido—un'innovazione destinata a rivoluzionare l'intrattenimento digitale e la comunicazione. Il sistema sviluppato recentemente, chiamato OmniHuman, produce video a figura intera che mostrano individui che gesticolano e si muovono in sincronia con il loro discorso, superando le limitazioni dei precedenti modelli di intelligenza artificiale che animavano solo volti o busti superiori. L'addestramento di OmniHuman ha coinvolto un impressionante totale di 18. 700 ore di dati video per facilitare movimenti realistici. Secondo il team di ricerca di ByteDance, che ha pubblicato le proprie scoperte su arXiv, “L'animazione umana end-to-end ha visto miglioramenti significativi negli ultimi anni. Tuttavia, i metodi attuali faticano ancora a scalare come modelli generativi di video generali estesi, limitando le loro applicazioni pratiche. ” Per creare OmniHuman, il team ha utilizzato una strategia innovativa che ha comportato oltre 18. 700 ore di dati video umani, integrando vari input—testo, audio e movimenti del corpo. Questo metodo di addestramento "omni-conditions" consente all'IA di attingere a set di dati molto più ampi e vari rispetto alle tecniche precedenti. Questa innovazione nella generazione di video tramite intelligenza artificiale mostra movimenti a figura intera e gesti naturali. Il gruppo di ricerca ha osservato: “La nostra intuizione principale è che integrare più segnali di condizionamento, come testo, audio e posa, durante l'addestramento può ridurre notevolmente lo spreco di dati. ” Questa tecnologia rappresenta un importante passo avanti nei media generati dall'IA, con capacità che includono la produzione di video di persone che tengono discorsi e illustrano argomenti suonando strumenti musicali.

Durante i test, OmniHuman ha superato i sistemi esistenti in vari parametri di qualità. Mentre i giganti della tecnologia come Google, Meta e Microsoft competono per sviluppare tecnologie video AI di nuova generazione, il progresso di ByteDance potrebbe fornire un vantaggio competitivo alla sua azienda madre TikTok in questo panorama in rapida evoluzione. Gli esperti credono che questa tecnologia abbia il potenziale per rivoluzionare la produzione di intrattenimento, la creazione di contenuti educativi e la comunicazione digitale. Tuttavia, solleva anche preoccupazioni riguardo al possibile uso improprio dei media sintetici per scopi ingannevoli. I ricercatori intendono presentare le proprie scoperte a un'imminente conferenza sulla visione artificiale, anche se non hanno ancora annunciato i dettagli specifici.