Forskere hos ByteDance har skabt et banebrydende AI-system, der konverterer individuelle fotografier til realistiske videoer af mennesker, der taler, synger og bevæger sig flydende – en innovation, der er klar til at revolutionere digital underholdning og kommunikation. Det nyudviklede system, kaldet OmniHuman, producerer videoer i fuld længde, der viser personer, der gestikulerer og bevæger sig i synkronisering med deres tale, og overvinder dermed begrænsningerne fra tidligere AI-modeller, der kun animerede ansigtstræk eller overkroppe. Træningen af OmniHuman involverede imponerende 18. 700 timers videodata for at muliggøre realistisk bevægelse. Ifølge ByteDance-forskningsteamet, der offentliggjorde deres fund på arXiv, “har end-to-end menneskeanimation set betydelige forbedringer i de seneste år. Ikke desto mindre kæmper de nuværende metoder stadig med at skalere op som omfattende generelle videogenerationsmodeller, hvilket begrænser deres praktiske anvendelser. ” For at skabe OmniHuman anvendte teamet en innovativ strategi, der omfattede over 18. 700 timer af menneskelig videodata, integrerende forskellige input – tekst, lyd og kropsbevægelser. Denne “omni-betingede” træningsmetode gør det muligt for AI'en at trække på meget større og mere varierede datasæt end tidligere teknikker. Dette gennembrud inden for AI-videogenerering viser bevægelse i fuld længde og naturlige gestus. Forskningsgruppen bemærkede, “Vores primære indsigt er, at integrationen af flere betingelsessignaler, såsom tekst, lyd og positur, under træning kan minimere databesparelsen mærkbart. ” Denne teknologi betyder et stort skridt fremad i AI-genereret media, med kapaciteter der inkluderer at producere videoer af personer, der holder taler, og illustrerer emner, der spiller musikinstrumenter.

I forsøg overvandt OmniHuman eksisterende systemer inden for forskellige kvalitet målinger. Mens tech-giganter som Google, Meta og Microsoft konkurrerer om at udvikle næste generations video-AI-teknologier, kan ByteDance's fremskridt give et konkurrencefordel til moderfirmaet TikTok i dette hurtigt udviklende landskab. Eksperter mener, at denne teknologi har potentialet til at revolutionere underholdningsproduktion, oprettelse af uddannelsesindhold og digital kommunikation. Dog rejser det også bekymringer om mulig misbrug af syntetisk media til bedrageriske formål. Forskerne har til hensigt at præsentere deres fund på en kommende konference om computer vision, selvom de endnu ikke har offentliggjort de specifikke detaljer.