Para peneliti di ByteDance telah menciptakan sistem AI yang groundbreaking yang mengubah foto individu menjadi video realistis orang yang berbicara, bernyanyi, dan bergerak dengan lancar—sebuah inovasi yang siap merevolusi hiburan digital dan komunikasi. Sistem yang baru dikembangkan, bernama OmniHuman, menghasilkan video tubuh penuh yang menggambarkan individu berisyarat dan bergerak selaras dengan ucapan mereka, mengatasi keterbatasan model AI sebelumnya yang hanya menganimasikan wajah atau tubuh bagian atas. Pelatihan OmniHuman melibatkan data video sebesar 18. 700 jam yang mengesankan untuk memfasilitasi gerakan yang realistis. Menurut tim penelitian ByteDance, yang menerbitkan temuan mereka di arXiv, “Animasi manusia end-to-end telah mengalami peningkatan signifikan dalam beberapa tahun terakhir. Namun, metode saat ini masih kesulitan untuk skala besar sebagai model generasi video umum yang luas, membatasi aplikasi praktis mereka. ” Untuk menciptakan OmniHuman, tim menggunakan strategi inovatif yang melibatkan lebih dari 18. 700 jam data video manusia, mengintegrasikan berbagai masukan—teks, audio, dan gerakan tubuh. Metode pelatihan “omni-kondisi” ini memungkinkan AI untuk menarik dari dataset yang jauh lebih besar dan lebih bervariasi daripada teknik sebelumnya. Terobosan dalam generasi video AI ini menunjukkan gerakan tubuh penuh dan isyarat alami. Kelompok penelitian mencatat, “Wawasan utama kami adalah bahwa mengintegrasikan berbagai sinyal kondisi, seperti teks, audio, dan pose, selama pelatihan dapat secara signifikan meminimalkan pemborosan data. ” Teknologi ini menandakan lompatan besar ke depan dalam media yang dihasilkan AI, dengan kemampuan yang mencakup produksi video individu yang menyampaikan pidato dan menggambarkan subjek yang memainkan alat musik.

Dalam percobaan, OmniHuman melampaui sistem yang ada dalam berbagai metrik kualitas. Ketika raksasa teknologi seperti Google, Meta, dan Microsoft bersaing untuk mengembangkan teknologi AI video generasi berikutnya, kemajuan ByteDance dapat memberikan keunggulan kompetitif bagi perusahaan induknya, TikTok, di lanskap yang berkembang pesat ini. Para ahli percaya bahwa teknologi ini berpotensi merevolusi produksi hiburan, pembuatan konten pendidikan, dan komunikasi digital. Namun, hal ini juga menimbulkan kekhawatiran tentang kemungkinan penyalahgunaan media sintetis untuk tujuan yang menipu. Para peneliti bermaksud untuk mempresentasikan temuan mereka di sebuah konferensi visi komputer yang akan datang, meskipun mereka belum mengumumkan detail spesifiknya.