Nvidia uus "Fugatto" mudel täiustab generatiivset tehisintellekti, teisendades muusikat, hääli ja helisid ning luues isegi varem kuulmata helisid. Kuigi see pole veel avalikult saadaval, näitavad veebisaidi näited selle võimet muuta audio omadusi, alates saksofonidest, mis kõlavad nagu haukuvad koerad, kuni veealuse kõne või kiirabi sireenide koorideni. See lai võimekus on viinud Nvidia kirjeldama Fugattot kui helide "Šveitsi armeenuga. " Väljakutse seisneb treeningandmestiku loomises, mis rõhutab tähenduslikke seoseid heli ja keele vahel. Nvidia uurijad lõid LLM-i genereeritud Pythoni skripti abil arvukalt mallipõhiseid ja vabavormilisi juhiseid, et kirjeldada heli "persoonasid. " Need rakendati laiale valikule avatud lähtekoodiga helikomplektidele, märkides neid looduslike keelekirjeldustega, mida kvantifitseeriti emotsiooni, soo ja kõne kvaliteedi järgi. Uurijad hoidsid teatud tegurid konstantsena, samas kui teisi muutsid, et õpetada mudelile erisusi nagu rõõmsam kõne või erinevad instrumentide helid. Pärast 20 miljoni näidise (50 000 tundi heli) töötlemist kasutasid nad Nvidia tensorituumasid, et arendada mudelit, millel on 2, 5 miljardit parameetrit ja mis demonstreerib usaldusväärseid helikvaliteedi hindeid. Lisaks treenimisele võimaldab Fugatto "ComposableART" süsteem kohandatavat heliväljundit. See ühendab oma andmestikust pärit omadusi uute kuulmata helide loomiseks, kasutades "tingimuslikku juhtimist" nägemata kombinatsioonide jaoks.

Kuigi kõik tulemused pole toonitäpsed, näitab erinevate helide, nagu naerev lapsena kõlav viiul, paljusus Fugatto transformatiivset võimet. Olulisel määral käsitleb Fugatto helide omadusi häälestatavate kontinuumidena, mitte binaarsetena. See ühendab helid, nagu akustiline kitarr ja voolav vesi, muutes tasakaalu, ning kohandab aktsente või emotsioone kõnes. See täidab selliseid ülesandeid nagu räägitud teksti emotsiooni muutmine, vokaaliradade isoleerimine ja MIDI-muusika nootide asendamine erinevate vokaalesitustega. Nvidia näeb Fugattot sammuna järelevalveta multitask-õppimise suunas ning soovib seda rakendada näiteks laulu prototüüpimisel ja dünaamilistes videomängu skoorides. Sellised mudelid on mõeldud helikunstnike tööriistadeks, mitte asendajateks. Nagu produtsent/laulukirjutaja Ido Zmishlany väidab, muudab tehnoloogia pidevalt muusikat ning tehisintellekt tähistab uut peatükki muusikalises uuenduslikkuses.