Nvidia'nın yeni "Fugatto" modeli, müzik, sesler ve sesleri dönüştürerek, daha önce duyulmamış sesler bile yaratarak, üretken yapay zekayı geliştiriyor. Henüz herkese açık olmayan bu modelin, internet sitesindeki örnekler, ses özelliklerini değiştirme yeteneğini gösteriyor; saksafonların havlamaya benzemesi, su altındaki konuşmalar veya ambulans sirenlerinden oluşan korolar gibi. Bu geniş yeteneklerinden dolayı Nvidia, Fugatto'yu ses için bir "İsviçre çakısı" olarak tanımlıyor. Zorluk, ses ve dil arasındaki anlamlı ilişkileri vurgulayan bir öğretim veri seti oluşturmaktır. Nvidia'nın araştırmacıları, bir LLM tarafından üretilen Python betiği kullanarak, ses "kişiliklerini" tanımlamak için çok sayıda şablon tabanlı ve serbest biçimli talimat yarattılar. Bunlar, açık kaynaklı geniş bir ses veri setine uygulandı ve doğal dil açıklamalarıyla duygu, cinsiyet ve konuşma kalitesine göre derecelendirildi. Araştırmacılar, modelin daha mutlu konuşmalar veya farklı enstrüman sesleri gibi ayrımları öğrenmesi için bazı faktörleri sabit tutarken diğerlerini değiştirdiler. 20 milyon örnek (50. 000 saat ses) işlendiğinde, Nvidia tensor çekirdeklerini kullanarak 2. 5 milyar parametre içeren, güvenilir ses kalitesi puanları sergileyen bir model geliştirdiler. Eğitimin ötesinde, Fugatto'nun "ComposableART" sistemi, özelleştirilebilir ses çıktısı sunuyor.

Veri setinden gelen özellikleri yeni, duyulmamış sesler oluşturmak için birleştiriyor ve görülmemiş kombinasyonlar için "koşullu rehberlik" kullanıyor. Her ne kadar tüm çıkışlar mükemmel olmasa da, bir kemanın gülen bir bebeğe benzemesi gibi ses çeşitliliği, Fugatto'nun dönüştürücü yeteneğini gözler önüne seriyor. Önemli olarak, Fugatto, ses özelliklerini ikili yerine ayarlanabilir süreklilikler olarak ele alıyor. Bir akustik gitarı akan suyla birleştirerek dengeleri değiştiriyor, konuşmalarda aksanları veya duyguları ayarlıyor. Konuşma metninin duygusunu değiştirme, vokal parçalarını izole etme ve MIDI müzikteki notaları çeşitli vokal performanslarla değiştirme gibi görevleri yerine getiriyor. Nvidia, Fugatto'yu denetimsiz çoklu görev öğrenmeye doğru bir adım olarak görüyor ve şarkı prototipleme ve dinamik video oyunu müziklerinde uygulamalar öngörüyor. Bu tür modeller, ses sanatçıları için araçlar olarak tasarlanıyor, yerine geçmek için değil. Yapımcı/şarkı yazarı Ido Zmishlany'nin ifade ettiği gibi, teknoloji müziği sürekli olarak yeniden şekillendiriyor ve yapay zeka, müzikal yenilikte yeni bir bölümü işaret ediyor.