Az Nvidia új "Fugatto" modellje fejleszti a generatív mesterséges intelligenciát azáltal, hogy átalakítja a zenét, hangokat és zajokat, sőt még soha nem hallott hangokat is képes létrehozni. Bár még nem érhető el nyilvánosan, a weboldalon található példák bemutatják, hogyan tudja módosítani a hangzó tulajdonságokat, például szaxofonokat úgy megszólaltatni, mintha ugatnának, vagy víz alatti beszédet, illetve mentőszirénákat kórusban. Ez a széleskörű képesség késztette az Nvidiát, hogy a Fugattót a hang "svájci bicskájának" nevezze. A kihívás egy olyan képzési adathalmaz kidolgozása, amely kiemeli a jelentős kapcsolódásokat az audio és a nyelv között. Az Nvidia kutatói egy LLM által generált Python szkriptet használva számos sablon alapú és szabad formájú útmutatást alkottak az audio "személyiségek" leírására. Ezeket egy széles körű, nyílt forráskódú audio adathalmazra alkalmazták, amelyeket természetes nyelvi leírásokkal annotáltak, értékelve az érzelmet, nemet és beszédminőséget. A kutatók bizonyos tényezőket állandónak tartottak, míg másokat variáltak, hogy a modell különbségeket tanuljon, mint például boldogabb beszéd vagy különböző hangszerhangok. Miután 20 millió mintát (50 000 óra audiót) feldolgoztak, az Nvidia tenzormagjainak segítségével egy 2, 5 milliárd paraméterrel rendelkező modellt fejlesztettek ki, amely megbízható audio minőségi pontszámokat mutat. A képzés mellett a Fugatto "ComposableART" rendszere lehetővé teszi a testre szabható audió kimenetet.

Az adathalmazából származó tulajdonságok kombinálásával új, soha nem hallott hangokat hoz létre, "feltételes útmutatást" alkalmazva az ismeretlen kombinációkra. Bár nem minden kimenet hangzik tökéletesen, az olyan hangok változatossága, mint például egy nevető baba hangjára emlékeztető hegedű, bemutatja a Fugatto átalakító képességét. Lényegében a Fugatto állítható kontinuumokként kezeli a hangzó tulajdonságokat, nem pedig binárisokként. Képes hangokat kombinálni, például egy akusztikus gitárt a folyó vízzel, az egyensúly módosításával, valamint változtatja a beszéd akcentusait vagy érzelmeit. Olyan feladatokat hajt végre, mint a beszélő szöveg érzelmeinek megváltoztatása, vokális sávok izolálása, és a MIDI zenében a hangjegyek különféle vokális előadásokká cserélése. Az Nvidia a Fugattót egy lépésnek tekinti a felügyelet nélküli multitask tanulás felé, és dal prototípusokban, valamint dinamikus videojáték zenékben képzel el alkalmazásokat. Ilyen modelleket az audio művészek eszközeinek szánják, nem pedig helyettesítőknek. Ahogy Ido Zmishlany producer/dalszerző mondja, a technológia folyamatosan újraformálja a zenét, az MI pedig a zenei innováció új fejezetét jelenti.