एनव्हिडियाचा नवा "फुगाटो" मॉडेल जनरेटिव्ह एआयला संगीत, आवाज आणि ध्वनींना रूपांतरित करून उत्तेजन देते, अगदी पहिल्यांदा ऐकलेले ध्वनी निर्माण करते. अद्याप सार्वजनिकरित्या उपलब्ध नसलेले, वेबसाइटवरील उदाहरणे त्याच्या ऑडिओ लक्षणे बदलण्याच्या क्षमतेचे प्रदर्शन करतात, सॅक्सोफोनला भुंकण्यासारखे नियंत्रणापासून ते पाण्याखालचा संवाद किंवा रुग्णवाहिका सायरन्सच्या गायनापर्यंत. या विस्तृत क्षमतेने एनव्हिडियाला फुगाटोला "स्विस आर्मी नाइफ फॉर साउंड" असे वर्णन करण्यास प्रवृत्त केले आहे. चुनौती म्हणजे एक प्रशिक्षण डेटा सेट तयार करणे जे ऑडिओ आणि भाषेतील अर्थपूर्ण नाते दाखवते. एनव्हिडियाच्या संशोधकांनी, LLM-जनरेट केलेल्या प्याथन स्क्रिप्टचा वापर करून, असंख्य टेम्प्लेट-आधारित आणि मुक्त-आकाराच्या सूचना तयार केल्या, जेणेकरून ऑडिओ "व्यक्तिमत्वे" वर्णन करता येतील. हे विविध प्रकारच्या मुक्त स्रोत ऑडिओ डेटा सेट्सना लागू केले गेले आहे, त्यांना स्वाभाविक भाषा वर्णने दिली जाऊन भावना, लिंग, आणि भाषणाचा गुण यांनी मोजले. संशोधकांनी काही घटक स्थिर ठेवले तर इतर बदलून मॉडेलला अधिक आनंदी भाषण किंवा विविध वाद्य ध्वनी शिकवले. २० दशलक्ष नमुने (५०, ००० तास ऑडिओ) प्रक्रियेनंतर, त्यांनी एनव्हिडिया टेन्सर कोरचा वापर करून २. ५ अब्ज पॅरामीटर्ससह मॉडेल तयार केले, जे विश्वासार्ह ऑडिओ गुणवत्ता स्कोर्स दर्शवते. प्रशिक्षणाच्या पलीकडे, फुगाटोच्या "कंपोजेबलएआरटी" प्रणालीत अनुकूलनक्षम ऑडिओ उत्पादनाची सुविधा आहे.

हे त्याच्या डेटासेटमधून विशेषता संयोजित करते आणि "Conditional Guidance" चा वापर करून नवीन, अनुपस्थित ध्वनी उत्पन्न करते. सर्व उत्पादन योग्य सुरांवर नसले तरी ध्वनींची विविधता, जसे की व्हायोलिन एक हसणाऱ्या बाळासारखे वाटते, फुगाटोच्या रूपांतरित क्षमतेचा अनुभव देते. महत्त्वाचे म्हणजे, फुगाटो ऑडिओ वैशिष्ट्यांना बायनरीजऐवजी ट्यून करण्यायोग्य सतत मानतो. ते आवाज कम्बाईन करते, जसे की ध्वनिक गिटार सोबत पाण्याचा प्रवाह जोडणे, आणि भाषणात उच्चार किंवा भावना समायोजित करते. ते म्हटलेले मजकूर बदलण्यासाठी भावना बदलणे, व्होकल ट्रॅक विलग करणे, आणि MIDI संगीतामध्ये नोट्स बदलणे अशा कार्यांना साध्य करते. एनव्हिडिया फुगाटोल unsupervised multitask शिकण्याच्या दिशेने एक पाऊल म्हणून बघते आणि गाण्याच्या प्रोटोटायपिंग आणि गतिशील व्हिडिओ गेम स्कोअरमध्ये अनुप्रयोगाचा विचार करते. अशा मॉडेल्स म्हणजे ऑडिओ कलाकारांसाठी साधने आहेत, पर्याय नाहीत. निर्माता/गीतकार इदो झ्मिस्लानी असे सांगतात, तंत्रज्ञान सतत संगीतात परिवर्तन घडवते, आणि एआय संगीत नवकल्पनांमधील एक नवीन अध्याय लिहीत आहे.