Le nouveau modèle "Fugatto" de Nvidia améliore l'intelligence artificielle générative en transformant la musique, les voix et les sons, jusqu'à créer des sons jamais entendus auparavant. Pas encore disponible au public, des exemples sur le site démontrent sa capacité à modifier les caractéristiques audio, allant de saxophones ressemblant à des aboiements à des discours sous-marins ou des chœurs de sirènes d'ambulance. Cette vaste compétence a conduit Nvidia à décrire Fugatto comme un "couteau suisse pour le son". Le défi réside dans la création d'un ensemble de données d'entraînement qui met en évidence les relations significatives entre l'audio et le langage. Les chercheurs de Nvidia, utilisant un script Python généré par LLM, ont créé de nombreuses instructions basées sur des modèles et en forme libre pour décrire des "personas" audio. Celles-ci ont été appliquées à un large éventail d'ensembles de données audio open source, les annotant de descriptions en langage naturel quantifiées par émotion, genre et qualité de la parole. Les chercheurs ont maintenu certains facteurs constants tout en variant d'autres pour enseigner au modèle des distinctions comme des discours plus heureux ou des sons d'instruments différents. Après avoir traité 20 millions d'échantillons (50 000 heures d'audio), ils ont utilisé les cœurs tensoriels de Nvidia pour développer un modèle avec 2, 5 milliards de paramètres, présentant des scores de qualité audio fiables. Au-delà de l'entraînement, le système "ComposableART" de Fugatto permet une sortie audio personnalisable.

Il combine des traits de son ensemble de données pour créer de nouveaux sons inédits, utilisant une "guidance conditionnelle" pour des combinaisons invisibles. Bien que toutes les sorties ne soient pas parfaites sur le plan tonal, la variété des sons, comme un violon ressemblant à un bébé riant, illustre la capacité transformative de Fugatto. Essentiellement, Fugatto traite les caractéristiques audio comme des continuums ajustables, et non binaires. Il combine des sons, comme une guitare acoustique avec de l'eau courante, en modifiant l'équilibre, et ajuste les accents ou les émotions dans le discours. Il exécute des tâches telles que modifier l'émotion d'un texte parlé, isoler des pistes vocales et remplacer des notes dans la musique MIDI par des performances vocales variées. Nvidia considère Fugatto comme un pas vers l'apprentissage multitâche non supervisé et envisage des applications dans le prototypage de chansons et les bandes sonores dynamiques de jeux vidéo. Ces modèles sont destinés à être des outils pour les artistes audio plutôt que des remplacements. Comme le déclare le producteur/compositeur Ido Zmishlany, la technologie façonne continuellement la musique, l'IA ouvrant un nouveau chapitre dans l'innovation musicale.