ByteDance'taki araştırmacılar, bireysel fotoğrafları gerçekçi konuşan, şarkı söyleyen ve akıcı hareket eden video görüntülerine dönüştüren çığır açan bir yapay zeka sistemi geliştirdi. Bu yenilik, dijital eğlence ve iletişimi devrim niteliğinde değiştirme potansiyeline sahip. Yeni geliştirilen sistem OmniHuman adıyla anılmakta ve bireylerin ifadeleriyle senkronize bir şekilde hareket ederek jestler yaptığı tam beden videoları üretmektedir. Bu, yalnızca yüzleri veya üst bedenleri canlandırabilen önceki AI modellerinin sınırlamalarını aşmaktadır. OmniHuman'ı eğitmek için gerçekçi hareketi mümkün kılmak adına 18, 700 saatlik video verisi kullanıldı. ByteDance araştırma ekibine göre, elde ettikleri bulgularını arXiv'de yayınlayan ekip, “Uçtan uca insan animasyonu son yıllarda önemli gelişmeler kaydetti. Bununla birlikte, mevcut yöntemler hala geniş ölçekli genel video üretim modelleri olarak büyümekte zorlanıyor, bu da pratik uygulamalarını sınırlıyor. ” ifade etti. OmniHuman'ı yaratmak için ekip, metin, ses ve beden hareketleri gibi çeşitli girdileri entegre ederek 18, 700 saatten fazla insan video verisi içeren yenilikçi bir strateji kullandı.

Bu “omni-conditions” eğitim yöntemi, yapay zekanın önceki tekniklerden çok daha büyük ve çeşitli veri setlerinden yararlanmasını sağlar. Bu yapay zeka video üretiminde yaşanan bu çarpıcı gelişme, tam vücut hareketlerini ve doğal jestleri sergiliyor. Araştırma grubunun belirttiğine göre, “Eğitim sırasında metin, ses ve poz gibi birden fazla koşullandırma sinyalinin entegrasyonunun, veri israfını önemli ölçüde azaltabileceği ana farkındalığımızdır. ” Bu teknoloji, bireylerin konuşma yaptığı ve müzik enstrümanı çaldığı videolar üretme yetenekleriyle AI tarafından üretilen medyada büyük bir sıçrama anlamına geliyor. Denemelerde, OmniHuman mevcut sistemleri çeşitli kalite ölçütlerinde geride bıraktı. Google, Meta ve Microsoft gibi teknoloji devleri, sonraki nesil video AI teknolojileri geliştirmeye çalışırken, ByteDance’in ilerlemesi, hızlı gelişen bu alanda TikTok'un ana şirketine rekabet avantajı sağlayabilir. Uzmanlar, bu teknolojinin eğlence üretimini, eğitim içerik oluşturmayı ve dijital iletişimi devrim niteliğinde değiştirme potansiyeline sahip olduğunu düşünmektedir. Ancak, yapay medya kullanılarak aldatıcı amaçlar için kötüye kullanım endişelerini de beraberinde getiriyor. Araştırmacılar, bulgularını yaklaşan bir bilgisayarla görü görme konferansında sunmayı planlıyor, ancak henüz kesin detayları açıklamadılar.