Penyelidik di ByteDance telah mencipta sistem AI yang revolusioner yang menukarkan gambar individu kepada video realistik orang yang bercakap, menyanyi, dan bergerak dengan lancar—sebuah inovasi yang berpotensi untuk mengubah hiburan digital dan komunikasi. Sistem yang baru dibangunkan, dinamakan OmniHuman, menghasilkan video tubuh penuh yang menggambarkan individu yang membuat isyarat dan bergerak selari dengan ucapan mereka, mengatasi batasan model AI sebelumnya yang hanya menganimasi wajah atau tubuh atas. Latihan OmniHuman melibatkan sebanyak 18, 700 jam data video untuk memudahkan pergerakan yang realistik. Menurut pasukan penyelidik ByteDance, yang menerbitkan penemuan mereka di arXiv, “Animasi manusia dari hujung ke hujung telah mengalami peningkatan yang ketara dalam beberapa tahun kebelakangan ini. Walau bagaimanapun, kaedah semasa masih menghadapi kesukaran untuk meningkatkan skala sebagai model penjanaan video umum yang luas, mengehadkan aplikasi praktikalnya. ” Untuk mencipta OmniHuman, pasukan menggunakan strategi inovatif yang melibatkan lebih dari 18, 700 jam data video manusia, mengintegrasikan pelbagai input—teks, audio, dan pergerakan tubuh. Kaedah latihan “omni-syarat” ini membolehkan AI memanfaatkan dataset yang jauh lebih besar dan lebih pelbagai berbanding teknik sebelumnya. Terobosan dalam penjanaan video AI ini memaparkan pergerakan tubuh penuh dan isyarat semula jadi. Kumpulan penyelidik mencatat, “Pandangan utama kami adalah bahawa mengintegrasikan pelbagai isyarat penyesuaian, seperti teks, audio, dan pose, semasa latihan boleh mengurangkan pembaziran data dengan ketara. ” Teknologi ini menandakan satu langkah besar ke hadapan dalam media yang dihasilkan oleh AI, dengan kemampuan untuk menghasilkan video individu yang menyampaikan ucapan dan menggambarkan subjek yang bermain alat muzik.

Dalam ujian, OmniHuman mengatasi sistem sedia ada dalam pelbagai metrik kualiti. Ketika gergasi teknologi seperti Google, Meta, dan Microsoft bersaing untuk membangunkan teknologi video AI generasi seterusnya, kemajuan ByteDance boleh memberikan kelebihan kompetitif kepada syarikat induknya TikTok dalam landskap yang cepat berubah ini. Para pakar percaya bahawa teknologi ini berpotensi untuk merevolusikan pengeluaran hiburan, penciptaan kandungan pendidikan, dan komunikasi digital. Namun, ia juga menimbulkan kebimbangan tentang kemungkinan penyalahgunaan media sintetik untuk tujuan menipu. Penyelidik berhasrat untuk membentangkan penemuan mereka di sebuah persidangan penglihatan komputer yang akan datang, walaupun mereka belum mengumumkan butiran khususnya.