Нова модель "Fugatto" від Nvidia покращує генеративний штучний інтелект, трансформуючи музику, голоси та звуки, навіть створюючи раніше нечувані звуки. Хоча вона ще не доступна для загального користування, приклади на веб-сайті демонструють її здатність змінювати аудіо характеристики — від саксофонів, що звучать як гавкіт, до підводної мови або хору сирен швидкої допомоги. Ця широкі можливості дозволили Nvidia описати Fugatto як "швейцарський ніж для звуків". Виклик полягає в створенні набору навчальних даних, що акцентує значущі зв'язки між аудіо і мовою. Дослідники Nvidia, використовуючи LLM-генерований Python-скрипт, створили численні шаблонні та вільні інструкції для опису аудіо "персон". Їх застосували до широкого спектру аудіо даних з відкритим кодом, позначивши їх природними мовними описами, оціненими за емоціями, гендерною приналежністю і якістю мови. Дослідники утримували певні фактори постійними, одночасно змінюючи інші, щоб навчити модель розрізняти, наприклад, радіснішу мову чи різні інструментальні звуки. Після обробки 20 мільйонів зразків (50, 000 годин аудіо) вони використовували тензорні ядра Nvidia для розробки моделі з 2. 5 мільярдами параметрів, що демонструє надійні оцінки якості аудіо. Поза навчанням, система Fugatto під назвою "ComposableART" дозволяє налаштовувати аудіо вивід.

Вона поєднує характеристики зі свого набору даних для створення нових, нечуваних звуків, використовуючи "умовне направлення" для невидимих комбінацій. Хоча не всі результати ідеальні за тоном, різноманітність звуків, як скрипка, що звучить як сміючийся немовля, демонструє трансформативну здатність Fugatto. Важливо, що Fugatto розглядає аудіо характеристики як настроювані континууми, а не двійкові величини. Вона поєднує звуки, як акустичну гітару з звуком води, змінюючи баланс, та налаштовує акценти чи емоції в мові. Вона виконує завдання на кшталт зміни емоційності висловленого тексту, виділення вокальних доріжок або заміни нот у MIDI-музиці з різними вокальними виконаннями. Nvidia бачить Fugatto як крок до несупервізованого багатозадачного навчання і передбачає його застосування у прототипуванні пісень та динамічних музичних доріжках для відеоігор. Такі моделі призначені бути інструментами для аудіо-артистів, а не замінами. Як зазначає продюсер/автор пісень Ідо Змішлані, технології безперервно змінюють музику, з AI відкриваючи новий розділ в музичних інноваціях.