Новиот модел на Nvidia, "Fugatto", ја подобрува генеративната вештачка интелигенција со трансформирање на музика, гласови и звуци, дури и создавање на претходно нечуени звуци. Сè уште не е јавно достапен, но примерите на веб-страницата ја покажуваат неговата способност да ги менува аудио карактеристиките, од саксофони што звучат како лаење до подводен говор или хор од сирени на амбуланти. Оваа широка способност ја поттикна Nvidia да го опише Fugatto како "швајцарско ноже за звуци". Предизвикот лежи во создавање на тренинг множества на податоци кои ги истакнуваат значајните односи помеѓу аудио и јазик. Истражувачите на Nvidia, користејќи Python скрипта генерирана од голем јазичен модел (LLM), создадоа бројни инструкции засновани на шаблони и слободна форма за да опишат аудио "персони". Ова беше применето на широк спектар на аудио множества на податоци од отворен код, при што тие беа обележани со природнојазични описи кои беа квантитативни по емоција, пол и квалитет на говорот. Истражувачите одржуваа одредени фактори константни додека варираа други за да го научат моделот на разлики како посреќен говор или различни звуци на инструменти. По обработката на 20 милиони примероци (50. 000 часови аудио), тие ги искористија тензорните јадра на Nvidia за да развијат модел со 2, 5 милијарди параметри, кој покажа сигурни оценки за квалитет на аудиото. Освен во обуката, системот на Fugatto наречен "ComposableART" овозможува прилагодливи аудио излезни резултати.

Комбинира карактеристики од своето множество на податоци за да создаде нови, нечуени звуци, користејќи "условно насочување" за невидени комбинации. Иако не се сите излезни звуци совршено интонативни, разновидноста на звуците, како виолина што звучи како бебе што се смее, го покажува трансформативниот капацитет на Fugatto. Суштински, Fugatto ги третира аудио карактеристиките како подесива континууми, а не како бинарности. Комбинира звуци, како акустична гитара со трчање на вода, со менување на балансот, и ги прилагодува акцентите или емоциите во говорот. Изведува задачи како што се промена на емоцијата на изговорен текст, изолирање на вокалните песни и заменување на ноти во MIDI музика со различни вокални изведби. Nvidia го гледа Fugatto како чекор кон ненадгледувано мултитаск учење и гледа примени во прототипирање песни и динамични музички резултати за видео игри. Ваквите модели се наменети како алатки за аудио артисти, а не како замени. Како што вели продуцент/композитор Идо Змишлани, технологијата постојано ја обликува музиката, а вештачката интелигенција означува ново поглавје во музичката иновација.