V preteklem letu so modeli za razširjanje videa, ki jih poganja umetna inteligenca, naredili izjemen napredek v vizualni realističnosti, kar so dokazali modeli kot so OpenAI-jev Sora 2, Google's Veo 3 in Runway Gen-4. Generiranje videa z umetno inteligenco dosega prelomno fazo, saj najnovejši modeli lahko ustvarjajo osupljive, živopisne posnetke. Vendar arhitektura teh modelov omejuje njihovo uporabo za interaktivne aplikacije v realnem času, saj generatejo video okvir po okvirju prek zapletenih in računalniško zahtevnih korakov. Obdelava vsakega dela pred prehodom na naslednjega povzroča zamudo, kar preprečuje pretočno predvajanje AI videa v živo. Večina strokovnjakov za umetno inteligenco se osredotoča na ustvarjanje posnetkov za kasnejši ogled, medtem ko je živo, takojšnje pretvarjanje videa z AI še vedno oddaljeno za vsaj nekaj let. Ekipa Decart je ta arhitekturna ovira izzvala in razvila LSD v2, model, ki kaže, da je minimalna zakasnitev dosegljiva z novimi pristopi, uporabnimi pri različnih modelih AI. Optimizirali so infrastrukturo za maksimalno izrabo GPU-jev in pospešili postopek odstranjevanja šuma, ki je ključen za preprečevanje kopičenja napak. LSD v2 uporablja kauzalno, avto-regresivno arhitekturo za takojšnje in kontinuirano generiranje videa, brez omejitev trajanja izhoda. Ključne inovacije vključujejo: 1. **Neskončno generiranje z kauzalnimi, avto-regresivnimi modeli** Za omogočanje pretoka videa morajo modeli delovati “kauzalno, ” to pomeni, da ustvarjajo vsak okvir le na podlagi prejšnjih, s čimer zmanjšajo računalniško obremenitev. Ta pristop zagotavlja kontinuiteto, a skozi čas se pojavi kopičenje napak – majhne nepravilnosti, kot so napačno postavljeni senco, postanejo vse bolj popačene, kar omejuje dolžino posnetkov. Da bi to premagali, je Decart izboljšal “diffuzijsko prisilo” za odstranitev šuma pri ustvarjanju posameznih okvirov in uvedel “zgodovinsko razširitev, ” ki trenira modele, da prepoznavajo in popravijo poškodovane izhode. Kauzalni povratni zanko sestavljajo prejšnje generirani okvirji, trenutno vhodni podatki in uporabniški pozivi, kar omogoča modelu, da samodejno prepozna in odpravi napake ter tako brezčasno proizvaja visokokakovostne vsebine. To omogoča stalno razpoložljivo in v živo prilagodljivo urejanje ter transformacijo na podlagi uporabniškega vnosa. 2. **Doseganje podsekundne zakasnitev z optimizacijo GPU-jev** Za interaktivni video v realnem času je potrebno, da vsak okvir nastane v 40 milisekundah ali manj, sicer je prisotna vidna zamuda.

Vendar pa so kauzalni modeli zahtevni za računalniško obdelavo v skladu z načrtom modernih GPU-jev, ki so zasnovani za obdelavo velikih serij, ne pa za nizko zakasnitev. Decart je to rešil z globoko optimizacijo Nvidia-hovih jedr RTX Hopper. Namesto več malih jedr, ki povzročajo pogoste ustavitve, zagon in premike podatkov – kar izgublja čas in pušča veliko zmogljivosti neizkoriščenih – so ustvarili enega “mega jedro, ” ki izvede vse izračune v eni neskončni opravili. Ta pristop znatno poveča izrabo GPU in pospeši obdelavo za vrstni red velikosti, podobno, kot je Henry Ford z uvedbo montažne linije revolucionarno spremenil proizvodnjo s poenostavitvijo zaporednih postopkov. 3. **Rezanje nepotrebnih parametrskih nastavitev in posredne destilacije za učinkovitost** Večnapetostne nevronske mreže imajo pogosto preveč parametrov, kar je odveč za namen ustvarjanja želenih izhodov. Decart je uporabil tehnik “arhitekturno zavestno rezanje” za odstranitev odvečnih parametrov, s čimer so zmanjšali računske zahteve in prilagodili modele strojni opremi. Poleg tega so razvili “posredno destilacijo, ” s katero so majhne, lahke modele izurili, da dosegajo hitrost odstranjevanja šuma, enako kot večji in energijsko zahtevnejši modeli. Ti začasni modeli skrajšajo korake za tvorbo koherentnih okvirjev, kar se sešteje v časovni prihranek in pospeši celotno proizvodnjo videa. Ti preboji skupaj omogočajo generiranje videa z zakasnitvijo manj kot sekundo, kar je ključni mejnik, ki odpre vrata interaktivni uporabi AI videa, ki je prej ni bila možna. Uporabniki lahko nenehno urejajo vsebino v živo, prilagajajo posnetke na podlagi pozivov ali gledalcev. Ta možnost odpira nove perspektive za vplivneže pri prenosu v živo in Twitch streamerje, ki lahko dinamično spreminjajo vsebino med predvajanjem. Poleg zabave ta tehnologija obeta tudi v pogonu iger na srečo v živo, kjer se lahko sekvence prilagajajo v realnem času glede na odločitve igralcev, na primer s poglobljenimi zgodbami, oblikovanimi po njihovi volji. Prav tako vpliva na razširjeno resničnost, poglobljeno izobraževanje in trženje na večjih dogodkih. Poleg tega se videoposnetki, ki jih ustvarja umetna inteligenca, uporabljajo kot motorji nevronskega upodabljanja za strokovnjake, kot so arhitekti in notranji oblikovalci, ki lahko hitro ustvarjajo prototipe stilov in tem prek pozivov pred dokončanjem načrtov. Najbolj izjemno je, da odstranitev zakasnitve pri hkratnem ustvarjanju neomejenega videa omogoča ustvarjalcem, da na interaktiven način raziskujejo dolgoročne vsebine. S posodobitvami scene, razsvetljave, kotov kamere in izrazov likov lahko sproti prilagajajo dogajanje, kar pretvarja pripovedovanje zgodb v dinamično, uporabnikom vodeno izkušnjo. Kfir Aberman, soustanovitelj Decart AI in vodja njihovega urada v San Franciscu, vodi prizadevanja za preoblikovanje raziskav v živo generiranega videa v produkte. Njegovo delo je osredotočeno na ustvarjanje interaktivnih, personaliziranih sistemov umetne inteligence, ki združujejo raziskovalno odličnost z ustvarjalnimi uporabniškimi izkušnjami.