În ultimul an, modelele de difuzie video generate de AI au înregistrat progrese remarcabile în realismul vizual, demonstrate de modele precum Sora 2 de la OpenAI, Veo 3 de la Google și Runway Gen-4. Generarea de videoclipuri de către AI atinge o etapă critică, cele mai recente modele fiind capabile să creeze clipuri uimitoare, realiste. Totuși, arhitecturile acestor modele limitează utilizarea lor pentru aplicații interactive în timp real, deoarece ele generează cadre video secvențial, prin pași complexi, solicitanti din punct de vedere computațional. Procesarea fiecărui fragment înainte de trecerea la următorul cauzează latență, împiedicând streaming-ul live de video AI. Majoritatea practicienilor în AI se concentrează pe generarea de clipuri pentru vizionare ulterioară, iar transformarea instantanee și live a videoclipurilor AI este încă considerată un deziderat pentru ani de zile. Echipa Decart a contestat această barieră arhitecturală și a dezvoltat LSD v2, un model care demonstrează că latența minimă este realizabilă prin abordări inovatoare aplicabile diferitelor modele AI. Ei au optimizat infrastructura pentru a maximiza utilizarea GPU-urilor și au accelerat procesul de denoising, esențial pentru prevenirea acumulării de erori. LSD v2 utilizează o arhitectură cauzală, auto-regresivă, pentru a genera videoclipuri instantaneu și continuu, fără limite de durată a output-ului. Principalele inovații includ: 1. **Generare infinită prin modele cauzale, auto-regresive** Pentru a permite streaming-ul de output, modelele video trebuie să funcționeze „cauzal”, producând fiecare cadru doar pe baza celor anterioare, reducând sarcina computatională. Această abordare asigură continuitate, însă pe termen lung duce la acumularea de erori – mici inexactități, precum o umbră plasată greșit, devin din ce în ce mai distorsionate, limitând majoritatea modelelor la clipuri scurte. Pentru a contracara acest fenomen, Decart a îmbunătățit „diffusion forcing” pentru a denoisă cadrele pe măsură ce sunt generate și a introdus „history augmentation”, antrenând modelele să recunoască și să corecteze rezultatele corupte. Bucla de feedback cauzal ia în calcul cadrele generate anterior, input-ul curent și prompturile utilizatorului, permițând modelului să identifice și să corecteze artefacte și să aibă output de înaltă calitate în mod indelungat. Astfel, se poate realiza editare și transformare continuă în timp real, bazată pe inputul utilizatorului. 2. **Reducerea latenței sub secundă prin optimizare GPU** Pentru generarea video interactivă în timp real, fiecare cadru trebuie creat în maxim 40 ms pentru a evita lag-ul vizibil.

Totuși, modelele cauzale AI sunt intensive din punct de vedere computațional, iar design-ul modern al GPU-urilor favorizează procesarea în loturi mari, mai degrabă decât latența scăzută. Decart a abordat această problemă prin optimizarea profundă a kernelurilor Nvidia Hopper. În loc de multiple kerneluri mici, care cauzează opriri frecvente și transferuri de date, consumând timp și lăsând mare parte din capacitatea GPU-ului inactivă, au creat un „mega kernel” unic ce rulează toate calculele modelului într-o singură trecere continuă. Această metodă a crescut dramatic utilizarea GPU-ului și a accelerat procesarea de zece ori, asemănător modului în care linia de asamblare a lui Henry Ford a revoluționat fabricarea, simplificând fluxurile secvențiale de lucru. 3. **Pruning și distilare cu scurtături pentru eficiență** Rețelele neuronale tinde să fie supra-parameterizate, conținând mulți parametri inutili pentru generarea rezultatelor dorite. Decart a aplicat „pruning conștient de arhitectură” pentru a elimina parametrii redundanți, reducând sarcina de calcul și ajustând modelele la arhitectura hardware. În plus, au dezvoltat „shortcut distillation”, pentru a ajusta modele mai mici și ușoare, capabile să compare viteza de denoising cu modele mai mari, mai consumatoare de energie. Utilizarea acestor modele scurte reduce pașii necesari pentru generarea cadrelor coerente, accelerând considerabil procesul total. Aceste avansuri permit generarea de videoclipuri cu latență sub secundă, o realizare esențială deschizând drumul pentru utilizarea interactivă a AI-ului video. Utilizatorii pot edita în mod continuu conținutul în timpul redării, adaptând videoclipurile în timp real în funcție de prompturi sau feedback-ul publicului. Această capacitate oferă perspective interesante pentru influenceri de live-streaming și streameri pe Twitch, care pot modifica dinamic conținutul în timpul transmisiunii. Dincolo de divertisment, această tehnologie are potențial pentru jocuri video live, permițând secvențe generate de AI care se adaptează în timp real la alegerile jucătorilor – precum narațiuni ramificate influențate de deciziile utilizatorilor. De asemenea, are impact asupra realității extinse, educației immersive și marketingului pentru evenimente de amploare. Mai mult, videoclipurile generate de AI servesc ca motoare de rendering neuronal pentru profesioniști precum arhitecți și designeri de interior, facilitând prototiparea rapidă a stilurilor și temelor via prompturi, înainte de finalizarea proiectelor. Cel mai remarcabil este faptul că eliminarea latenței, împreună cu posibilitatea de a genera video nelimitat, permite creatorilor să exploreze conținuturi de lungă durată în mod interactiv. Ei pot ajusta scene, iluminare, unghiuri de cameră și expresii ale personajelor în timp ce videoclipul evoluează, transformând povestirea într-o experiență dinamică, condusă de utilizator. Kfir Aberman, membru fondator al Decart AI și șef al biroului din San Francisco, conduce eforturile de transformare a cercetării în generare video în timp real în produse. Munca sa se axează pe crearea de sisteme AI interactive și personalizate, care combină excelența în cercetare cu experiențe creative pentru utilizatori.