Nel corso dell'ultimo anno, i modelli di diffusione video generati dall'IA hanno compiuto progressi notevoli in termini di realismo visivo, come dimostrato da modelli come Sora 2 di OpenAI, Veo 3 di Google e Runway Gen-4. La generazione di video con IA sta raggiungendo una fase cruciale, con gli ultimi modelli in grado di creare clip sorprendentemente realistiche e affascinanti. Tuttavia, l’architettura di questi modelli limita il loro utilizzo in applicazioni interattive in tempo reale, poiché generano i fotogrammi sequenzialmente attraverso passaggi complessi e computazionalmente intensi. Elaborare ogni segmento prima di passare al successivo introduce latenza, impedendo lo streaming live di video con IA. La maggior parte degli specialisti si concentra sulla creazione di clip da visualizzare successivamente, mentre la trasformazione istantanea e in tempo reale dei video con IA ancora sembra essere lontana anni. Il team di Decart ha sfidato questa barriera architetturale e ha sviluppato LSD v2, un modello che dimostra come si possa raggiungere una latenza minima attraverso approcci innovativi applicabili a vari modelli di IA. Hanno ottimizzato l’infrastruttura per massimizzare l’utilizzo delle GPU e accelerato il processo di denoising, essenziale per prevenire l’accumulo di errori. LSD v2 utilizza un’architettura causale auto-regressiva per generare video in modo immediato e continuo, senza limiti di durata dell’output. Le innovazioni chiave includono: 1. **Generazione infinita tramite modelli causali auto-regressivi** Per consentire un output in streaming, i modelli video devono operare in modalità “causale, ” producendo ogni fotogramma basandosi esclusivamente sui fotogrammi precedenti, riducendo il carico computazionale. Questo approccio garantisce continuità, ma nel tempo può portare all’accumulo di errori—piccole imprecisioni come un’ombra fuori luogo diventano sempre più distorte, limitando la durata dei clip. Per contrastare questo problema, Decart ha migliorato il “diffusion forcing” per denoisare i fotogrammi durante la generazione e ha introdotto l’“aggiunta di storia, ” addestrando i modelli a riconoscere e correggere le uscite corrotte. Il ciclo di feedback causale considera i fotogrammi generati in precedenza, l’input attuale e le prompt dell’utente, permettendo al modello di individuare e correggere artefatti, mantenendo alta qualità del contenuto in modo indefinito. Ciò consente editing e trasformazioni in tempo reale, continue, basate sui input dell’utente. 2. **Latenza inferiore al secondo tramite ottimizzazione delle GPU** La generazione di video interattivi in tempo reale richiede che ogni fotogramma venga prodotto entro 40 millisecondi per evitare lag visibili.

Tuttavia, la complessità computazionale dei modelli causali si scontra con la progettazione delle GPU moderne, che privilegiano l’elaborazione di grandi batch rispetto alla bassa latenza. Decart ha affrontato il problema ottimizzando profondamente i kernel Nvidia Hopper. Invece di numerosi kernel piccoli che causano frequenti pause, avvii e spostamenti di dati—che sprecano tempo e lasciano GPU inutilizzata—hanno creato un “mega kernel” unico che esegue tutte le operazioni del modello in un’unica passata continua. Questo metodo incrementa drasticamente l’efficienza dell’utilizzo GPU e accelera i processi di un ordine di grandezza, analogamente a come la catena di montaggio di Henry Ford rivoluzionò la produzione rendendola più efficiente. 3. **Potatura e distillazione con scorciatoie per efficienza** Le reti neurali tendono ad essere sovradimensionate, con molti parametri superflui per la generazione dei risultati desiderati. Decart ha applicato tecniche di “potatura consapevole dell’architettura” per eliminare parametri ridondanti, riducendo il carico computazionale e adattando più strettamente i modelli all’architettura hardware. Inoltre, hanno sviluppato la “distillazione con scorciatoie, ” ovvero il fine-tuning di modelli più piccoli e leggeri per eguagliare la velocità di denoising di modelli più grandi e energivori. Questi modelli ridotti permettono di generare fotogrammi coerenti più rapidamente, generando risparmi di tempo incrementali che accelerano complessivamente il processo di output. Questi progressi permettono di ottenere generazioni di video con latenza inferiore al secondo, una tappa fondamentale che apre alla possibilità di utilizzo interattivo dell’IA nel video. Gli utenti possono modificare contenuti in tempo reale, adattando i video in modo dinamico basandosi su prompt o input del pubblico. Questa capacità apre prospettive interessanti per influencer di live streaming e streamer su Twitch, che potranno modificare continuamente i contenuti durante la trasmissione. Oltre all’intrattenimento, questa tecnologia promette anche applicazioni nei giochi dal vivo, consentendo sequenze generate dall’IA che si adattano in tempo reale alle scelte dei giocatori—come narrazioni ramificate modellate dalle decisioni degli utenti. Influenza anche realtà estesa, educazione immersiva e marketing di eventi su larga scala. Inoltre, i video generati dall’IA funzionano come motori di rendering neurale per professionisti come architetti e interior designer, permettendo prototipi rapidi di stili e temi tramite prompt prima di finalizzare le progettazioni. Ancora più notevole, eliminando la latenza e consentendo generazioni infinite di video, questa tecnologia permette ai creatori di esplorare contenuti di lunga durata in modo interattivo. Possono aggiustare scene, illuminazione, angolature di ripresa e espressioni dei personaggi in tempo reale mentre il video si svolge, trasformando la narrazione in un’esperienza dinamica e guidata dall’utente. Kfir Aberman, membro fondatore di Decart AI e responsabile della sede di San Francisco, guida gli sforzi nel trasformare la ricerca sulla generazione di video in tempo reale in prodotti concreti. Il suo lavoro si concentra sulla creazione di sistemi di IA interattivi e personalizzati, che coniugano eccellenza nella ricerca con esperienze creative per gli utenti.