Các nhà nghiên cứu tại ByteDance đã phát triển một hệ thống AI đột phá có khả năng chuyển đổi hình ảnh cá nhân thành video chân thực của mọi người đang nói, hát và di chuyển một cách mượt mà—một sự đổi mới có khả năng cách mạng hóa lĩnh vực giải trí kỹ thuật số và giao tiếp. Hệ thống mới được phát triển, mang tên OmniHuman, sản xuất video toàn thân mô tả cá nhân thực hiện cử chỉ và di chuyển đồng bộ với lời nói của họ, vượt qua giới hạn của các mô hình AI trước đây chỉ tạo hoạt ảnh cho khuôn mặt hoặc phần thân trên. Để huấn luyện OmniHuman, nhóm đã sử dụng tới 18. 700 giờ dữ liệu video ấn tượng để giúp cải thiện chuyển động thực tế. Theo nhóm nghiên cứu của ByteDance, họ đã công bố kết quả trên arXiv, “Hoạt hình con người từ đầu đến cuối đã chứng kiến những cải tiến đáng kể trong những năm gần đây. Tuy nhiên, các phương pháp hiện tại vẫn gặp khó khăn trong việc mở rộng quy mô như các mô hình tạo video chung lớn, hạn chế ứng dụng thực tiễn của chúng. ” Để tạo ra OmniHuman, nhóm đã áp dụng một chiến lược sáng tạo liên quan đến hơn 18. 700 giờ dữ liệu video con người, tích hợp nhiều đầu vào—văn bản, âm thanh và chuyển động cơ thể. Phương pháp huấn luyện “điều kiện toàn diện” này cho phép AI rút ra từ các tập dữ liệu lớn hơn và đa dạng hơn so với các kỹ thuật trước đây. Đột phá này trong việc tạo video AI cho thấy chuyển động toàn thân và cử chỉ tự nhiên. Nhóm nghiên cứu lưu ý, “Nhận thức chính của chúng tôi là việc tích hợp nhiều tín hiệu điều kiện, chẳng hạn như văn bản, âm thanh và tư thế, trong quá trình huấn luyện có thể giảm thiểu lãng phí dữ liệu một cách rõ rệt. ” Công nghệ này đánh dấu một bước tiến lớn trong truyền thông do AI tạo ra, với khả năng bao gồm việc sản xuất video cho các cá nhân phát biểu và minh họa các chủ đề chơi nhạc cụ.

Trong các thử nghiệm, OmniHuman đã vượt qua các hệ thống hiện có trong nhiều chỉ số chất lượng. Khi các gã khổng lồ công nghệ như Google, Meta và Microsoft cạnh tranh phát triển công nghệ video AI thế hệ tiếp theo, sự tiến bộ của ByteDance có thể mang lại lợi thế cạnh tranh cho công ty mẹ TikTok trong bối cảnh đang nhanh chóng thay đổi này. Các chuyên gia tin rằng công nghệ này có khả năng cách mạng hóa lĩnh vực sản xuất giải trí, tạo ra nội dung giáo dục và giao tiếp kỹ thuật số. Tuy nhiên, nó cũng đặt ra lo ngại về khả năng sử dụng sai mục đích của phương tiện tổng hợp cho các mục đích lừa đảo. Các nhà nghiên cứu dự định trình bày các phát hiện của họ tại một hội nghị thị giác máy tính sắp tới, mặc dù họ chưa công bố chi tiết cụ thể.