AI कंपनी Sesame ने Maya या दृष्टीने वास्तववादी आवाज सहाय्यकाला चालविणाऱ्या मौलिक मॉडेलची ओळख करुन दिली आहे. हा मॉडेल, जो 1 अब्ज पॅरामीटर्समध्ये समाविष्ट आहे (जिथे "पॅरामीटर्स" म्हणजे मॉडेलच्या विशिष्ट घटकांचे प्रतिनिधित्व करते), Apache 2. 0 परवाण्या अंतर्गत जारी केला आहे, कमी मर्यादांसह व्यावसायिक वापरासाठी परवानगी देत आहे. CSM-1B असे नाव असलेला हा मॉडेल "RVQ ऑडिओ कोड" बनवतो, जो मजकूर आणि ऑडिओ इनपुटवर आधारित असतो, असे Sesame च्या AI विकास प्लॅटफॉर्म Hugging Face वरील वर्णनानुसार. RVQ म्हणजे "उरलेला व्हेक्टर क्वाँटायझेशन, " एक पद्धत जी ऑडिओला वेगळ्या टोकनमध्ये युज करते ज्यांना कोड म्हणून ओळखले जाते. ही तंत्रज्ञान अनेक आधुनिक AI ऑडिओ तंत्रज्ञानात उपयोगात आहे, जसे की Google चा SoundStream आणि Meta चा Encodec. CSM-1B हा Meta च्या Llama कुटुंबातून बनवलेला आहे आणि त्यात एक ऑडिओ "डिकोडर" घटक समाविष्ट आहे. Sesame च्या मते, CSM चा एक सुक्ष्म समाविष्ट आवृत्ती Maya ला चालवते. CSM-1B च्या Hugging Face आणि GitHub रेपोमध्ये, Sesame सांगते, "येथील ओपन-सोर्स केलेला मॉडेल एक आधारभूत उत्पादन मॉडेल आहे. हे विविध आवाज निर्माण करू शकते परंतु कोणत्याही विशिष्ट आवाजासाठी ते सुक्ष्म रूपाने त्यातच समायोजित केलेले नाही.

[…] प्रशिक्षण सेटमध्ये डेटा चूकांमुळे या मॉडेलमध्ये काही गैर-इंग्रजी भाषांसाठी क्षमता आहे, परंतु त्याचा प्रदर्शन कमी दर्जाचा राहील, असे अपेक्षित आहे. " CSM-1B ला प्रशिक्षित करण्यासाठी Sesame ने कोणता डेटा वापरला हे स्पष्ट नाही, कारण कंपनीने या माहितीला उघड केलेले नाही. या मॉडेलमध्ये महत्त्वाची सुरक्षितता नाही याचे लक्षात घेणे महत्त्वाचे आहे. Sesame एक सन्मान प्रणालीवर अवलंबून आहे, जे विकसकांना आणि वापरकर्त्यांना परवानगी शिवाय कोणाच्या आवाजाचा अनुकरण करण्यासाठी, खोट्या बातम्यासारखे दिशाभूल करणारे सामग्री तयार करण्यासाठी, किंवा हानिकारक किंवा घातक क्रियाकलापांमध्ये संलग्न होण्यास टाळण्यास प्रोत्साहित करते. मी Hugging Face वर डेमो चाचणी केली, आणि माझ्या आवाजाचे अनुकरण करणे एक मिनिटापेक्षा कमी वेळात झाले. त्यानंतर, निवडक विषयांवर, जसे की निवडणुका आणि रशियन प्रचार, भाषण निर्माण करणे सोपे झाले. Consumer Reports ने अलीकडेच इशारा दिला की आज उपलब्ध असलेल्या अनेक लोकप्रिय AI-संचालित आवाज क्लोनिंग साधनांमध्ये फसवणूक किंवा गैरवापराच्या विरोधात "अर्थपूर्ण" सुरक्षेचा अभाव आहे. Oculus सह-निर्माता Brendan Iribe द्वारे सह-स्थापित केलेली Sesame, शेवटी फेब्रुवारीत तिच्या सहाय्यक तंत्रज्ञानासाठी महत्वपूर्ण लक्ष आकर्षित करत आहे, ज्यामुळे अविश्वसनीय घाटातून जवळजवळ मार्गक्रमण केले जाते. Maya आणि Sesame चा इतर सहाय्यक Miles, श्वास घेतात, भाषणातील असामान्यतेचे प्रदर्शन करतात, आणि बोलत असताना त्यांच्या बोलण्यात व्यत्यय आणला जाऊ शकतो, ज्याप्रमाणे OpenAI च्या Voice Mode सारखेच आहे. कंपनीने Andreessen Horowitz, Spark Capital, आणि Matrix Partners कडून गूढ गुंतवणूक प्राप्त केली आहे. आवाज सहाय्यक तंत्रज्ञानाच्या विकासाबाहेर, Sesame “संपूर्ण दिवस घालण्यासाठी” डिझाइन केलेल्या AI चष्मांचा प्रोटोटाइप तयार करीत आहे जे त्यांच्या अद्वितीय मॉडेल्सचा उपयोग करेल.