Cercetătorii de la ByteDance au creat un sistem AI revoluționar care transformă fotografii individuale în videoclipuri realiste cu oameni care vorbesc, cântă și se mișcă fluent - o inovație ce promite să revoluționeze divertismentul digital și comunicarea. Noul sistem dezvoltat, numit OmniHuman, produce videoclipuri cu corpul întreg care ilustrează persoane gesticulând și mișcându-se în sincronizare cu vorbirea lor, depășind limitările modelelor AI anterioare care animau doar fețele sau partea superioară a corpului. Antrenarea OmniHuman a implicat o impresionantă cantitate de 18. 700 de ore de date video pentru a facilita o mișcare realistă. Conform echipei de cercetare ByteDance, care și-a publicat descoperirile pe arXiv, „Animarea umană end-to-end a înregistrat îmbunătățiri semnificative în ultimii ani. Totuși, metodele actuale se confruntă în continuare cu dificultăți în a se extinde ca modele generale de generare video extinsă, restricționând aplicațiile lor practice. ” Pentru a crea OmniHuman, echipa a utilizat o strategie inovatoare implicând peste 18. 700 de ore de date video umane, integrând diverse intrări - text, audio și mișcări corporale. Această metodă de antrenament „omni-condiții” permite AI-ului să se bazeze pe seturi de date mult mai mari și mai variate decât tehnicile anterioare. Această descoperire în generarea video AI prezintă mișcarea corpului întreg și gesturi naturale. Grupul de cercetare a notat, „Principala noastră concluzie este că integrarea mai multor semnale de condiționare, cum ar fi textul, audio și postura, în timpul antrenamentului poate minimiza considerabil risipa de date. ” Această tehnologie semnifică un salt major înainte în media generată de AI, cu capacități care includ producerea de videoclipuri cu persoane care susțin discursuri și ilustrează subiecți care cântă la instrumente muzicale.

În teste, OmniHuman a depășit sistemele existente în diverse metrici de calitate. Pe măsură ce giganții tehnologici precum Google, Meta și Microsoft concurează pentru a dezvolta tehnologiile AI video de generație următoare, avansul ByteDance ar putea oferi un avantaj competitiv companiei sale mamă TikTok în acest peisaj în rapidă evoluție. Experții cred că această tehnologie are potențialul de a revoluționa producția de divertisment, crearea de conținut educațional și comunicarea digitală. Totuși, ridică și îngrijorări cu privire la posibila utilizare abuzivă a media sintetice în scopuri înșelătoare. Cercetătorii intenționează să își prezinte descoperirile la o viitoare conferință de viziune computerizată, deși nu au anunțat încă detalii specifice.