Los investigadores de ByteDance han creado un sistema de IA revolucionario que convierte fotografías individuales en videos realistas de personas hablando, cantando y moviéndose con fluidez, una innovación que promete transformar el entretenimiento digital y la comunicación. El sistema recién desarrollado, llamado OmniHuman, produce videos de cuerpo completo que representan a individuos gesticulando y moviéndose en sincronía con su discurso, superando las limitaciones de los modelos de IA anteriores que solo animaban caras o partes superiores del cuerpo. Entrenar a OmniHuman requirió unas impresionantes 18, 700 horas de datos de video para facilitar un movimiento realista. Según el equipo de investigación de ByteDance, que publicó sus hallazgos en arXiv, "la animación humana de extremo a extremo ha visto mejoras significativas en los últimos años. Sin embargo, los métodos actuales aún tienen dificultades para escalar como modelos de generación de video generales extensos, restringiendo sus aplicaciones prácticas". Para crear OmniHuman, el equipo utilizó una estrategia innovadora que involucró más de 18, 700 horas de datos de video humano, integrando diversas entradas: texto, audio y movimientos del cuerpo. Este método de entrenamiento de "condiciones omnidireccionales" permite a la IA aprovechar conjuntos de datos mucho más grandes y variados que las técnicas anteriores. Este avance en la generación de videos de IA muestra movimiento de cuerpo completo y gestos naturales. El grupo de investigación señaló: "Nuestra principal conclusión es que integrar múltiples señales de condicionamiento, como texto, audio y pose, durante el entrenamiento puede minimizar notablemente el desperdicio de datos". Esta tecnología representa un gran avance en los medios generados por IA, con capacidades que incluyen la producción de videos de individuos dando discursos e ilustrando temas tocando instrumentos musicales.

En pruebas, OmniHuman superó a los sistemas existentes en varias métricas de calidad. A medida que gigantes tecnológicos como Google, Meta y Microsoft compiten por desarrollar tecnologías de IA de video de próxima generación, el avance de ByteDance podría proporcionar una ventaja competitiva a su compañía matriz TikTok en este paisaje en rápida evolución. Los expertos creen que esta tecnología tiene el potencial de revolucionar la producción de entretenimiento, la creación de contenido educativo y la comunicación digital. Sin embargo, también plantea preocupaciones sobre el posible uso indebido de los medios sintéticos para fines engañosos. Los investigadores tienen la intención de presentar sus hallazgos en una próxima conferencia sobre visión por computadora, aunque aún no han anunciado los detalles específicos.