Nvidia introduceert zijn AI-muziekeditor, Fugatto, die ongekende geluiden kan genereren, zoals een trompet die miauwt. Deze tool creëert muziek, geluid en spraak met behulp van tekst- en audio-inputs waarop het niet specifiek is getraind. Zoals gedemonstreerd in de onderstaande video, kan Fugatto muziek componeren vanuit ongebruikelijke prompts zoals "Maak een saxfoon die huilt, blaft en vervolgens elektronische muziek met blaffende honden. " Nvidia toont voorbeelden waarbij Fugatto unieke geluidseffecten produceert, zoals "Diepe, dreunende baspulsen gecombineerd met intermitterende, hoogtonige digitale tjilpen, zoals het geluid van een enorme voelende machine die ontwaakt. " Het transformeert zelfs stemgeluiden door accenten of tonen te veranderen om ze boos of kalm te maken. Voor muziekbewerking kan Fugatto zang isoleren, instrumenten toevoegen en een piano vervangen door een operazanger om melodieën te veranderen. Een begeleidend document bij de aankondiging lijst uitgebreide datasets op die gebruikt zijn om Fugatto te trainen, waaronder BBC-geluidseffecten. Hoewel er verschillende AI-audiotools bestaan, zoals die van Stability AI, OpenAI, Google DeepMind, ElevenLabs en Adobe, claimt geen enkele volledig nieuwe geluiden te creëren. Sommige AI-startups krijgen zelfs te maken met auteursrechtszaken over soortgelijke tools, en een rapport merkte op dat Nvidia en anderen YouTube-ondertitels gebruikten om AI-modellen te trainen.

Om Fugatto te ontwikkelen heeft Nvidia een dataset samengesteld van miljoenen audiofragmenten. Ze formuleerden ook instructies om de taakmogelijkheden van het model te verbreden, de nauwkeurigheid te verbeteren en nieuwe taken mogelijk te maken zonder extra data. Nvidia heeft nog geen releasedatum aangekondigd voor het publiek gebruik van de tool.