Durant l’últim any, els models de difusió de vídeos generats per IA han aconseguit avenços remarquables en el realisme visual, com ho demostren models com Sora 2 d’OpenAI, Veo de Google i Runway Gen-4. La generació de vídeos per IA està en una fase crucial, amb els models més recents capaços de crear clips impressionants i extremadament realistes. No obstant això, l’arquitectura d’aquests models limita el seu ús en aplicacions interactives en temps real, ja que generen els quadres de vídeo de manera seqüencial a través de passos complexos i exigents en càlcul. Processar cada segment abans de passar al següent provoca latència, fent impossible l’streaming de vídeo en viu amb IA. La majoria de pràctics de la IA se centren a generar clips per després veure’ls, mentre que la transformació en viu i instantània encara es considera un objectiu a assolir en anys. L’equip de Decart ha desafiat aquesta barrera arquitectònica i ha desenvolupat LSD v2, un model que demostra que una latència mínima és possible mitjançant enfocaments nous, aplicables a diverses models d’IA. Han optimitzat la infraestructura per maximitzar l’ús de la GPU i han accelerat el procés de desnoisatització, vital per evitar la acumulació d’errors. LSD v2 utilitza una arquitectura causal i autoregressiva per generar vídeo de manera instantània i contínua, sense límits de durada de la sortida. Les principals innovacions inclouen: 1. **Generació infinita mitjançant models causals autoregressius** Per permetre una sortida en streaming, els models de vídeo han de operar de manera “causal”, produint cada quadre només en funció dels anteriors, reduint la càrrega computacional. Aquest enfocament assegura la continuïtat, però a llarg termini pateix la acumulació d’errors—petites inexactituds com una ombra mal col·locada s’esvaeixen o distorsionen encara més, limitant la llargada dels clips. Per contrarestar-ho, Decart ha millorat la “força de difusió” per desnoisatizar els quadres mentre es generen, i ha introduït la “augmentació de l’historial”, entrenant els models per reconèixer i corregir sortides corruptes. El bucle de retroalimentació causal considera els quadres generats prèviament, la entrada actual i les peticions dels usuaris, permetent que el model identifiqui i corregeixi artefactes i produeixi contingut de qualitat elevada de manera indefinida. Això possibilita l’edició i la transformació en viu i contínua segons les peticions dels usuaris. 2. **Reducció de la latència a menys d’un segon mitjançant optimització de GPU** Per a vídeos interactius en temps real, cal generar cada quadre en menys de 40 mil·lisegons per evitar retards visibles.

No obstant això, la càrrega computacional dels models causals xoca amb el disseny de les GPUs modernes, que prefereixen processar grans lots de dades en lloc de latència baixa. Decart ha resolt això optimitzant profundament els nuclis de Nvidia Hopper. En comptes de molts micronuclis que provoquen parades i moviments freqüents de dades—que juga en contra del temps i deixa gran part de la capacitat de la GPU sense utilitzar—, han creat un “mega nucli” que executa totes les càlculs en un sol pas continu. Aquesta estratègia augmenta molt l’ús de la GPU i accelera el processament per una ordre de magnitud, com com una línia d’assembliada que va revolucionar la fabricació industrial en optimitzar els processos seqüencials. 3. **Poda i destil·lació de camins per a una major eficiència** Les xarxes neuronals són sovint massa paràmetres, amb molts que són inútils per generar els sortides desitjades. Decart ha aplicat la “ poda conscient de l’arquitectura” per eliminar els paràmetres redundants, reduint la càrrega computacional i ajustant els models a l’arquitectura hardware. També han desenvolupat la “destil·lació de camins curts”, ajustant models més petits i lleugers per igualar la velocitat de desnoisatització dels models grans i més potents. Utilitzar aquests models més simples redueix els passos per generar quadres coherents, acumulant un estalvi de temps incremental i accelerant la producció general. Aquests avenços permeten ara generar vídeos amb latència de menys d’un segon, una fita fonamental que obre la porta a casos d’ús interactius abans impossibles. Els usuaris poden editar contingut en directe, adaptant els vídeos en temps real segons les peticions o el públic. Aquesta capacitat té un gran potencial per a influencer en directe i streamers de Twitch, que poden modificar contingut mentre emeten. Més enllà de l’entreteniment, aquesta tecnologia té potencial per als videojocs en viu, permetent seqüències generades per IA que s’adapten en temps real a les decisions del jugador, com ara trames que divergeixen segons les eleccions de l’usuari. També impacta en la realitat extendida, l’educació immersiva i el màrqueting d’esdeveniments a gran escala. A més, els vídeos generats per IA serveixen com a motors de renderització neural per a professionals com arquitectes i dissenyadors interiors, facilitant prototips ràpids de estils i temes a partir de peticions abans de decidir el disseny final. El més sorprenent és que, eliminant la latència i permetent una generació infinita de vídeos, els creadors poden explorar contingut de llarg durada de manera interactiva. Poden ajustar escenes, il·luminació, angles de càmera i expressions dels personatges en temps real, convertint la narració en una experiència dinàmica i impulsada pels usuaris. Kfir Aberman, membre fundador de Decart AI i cap de l’oficina de San Francisco, lidera els esforços en transformar la recerca en vídeos generatius en projectes concrets. El seu treball se centrar a construir sistemes d’IA interactius i personalitzats que combinen l’excel·lència en investigació amb experiències creatives per als usuaris.