Das KI-Unternehmen Sesame hat das grundlegende Modell eingeführt, das Maya antreibt, einen beeindruckend lebensechten Sprachassistenten. Dieses Modell, das aus 1 Milliarde Parametern besteht (wobei "Parameter" die unterschiedlichen Komponenten des Modells bezeichnet), wird unter einer Apache 2. 0-Lizenz veröffentlicht, die eine kommerzielle Nutzung mit minimalen Einschränkungen erlaubt. Das Modell trägt den Namen CSM-1B und erzeugt „RVQ-Audio-Codes“ aus textlichen und audioalen Eingaben, wie in Sesames Beschreibung auf der KI-Entwicklungsplattform Hugging Face angegeben. RVQ steht für „Residual Vector Quantization“, eine Methode zur Kodierung von Audio in diskrete Token, die als Codes bekannt sind. Diese Technik wird in verschiedenen zeitgenössischen KI-Audio-Technologien angewendet, darunter Googles SoundStream und Metas Encodec. CSM-1B basiert auf einem Modell aus Metas Llama-Familie und integriert eine Audio-„Dekodierungs“-Komponente. Laut Sesame treibt eine feinabgestimmte Version von CSM Maya an. In den Hugging Face- und GitHub-Repositories von CSM-1B gibt Sesame an: „Das hier quelloffen bereitgestellte Modell ist ein Basismodell zur Generierung. Es kann verschiedene Stimmen erzeugen, wurde jedoch nicht für eine bestimmte Stimme optimiert.

[…] Das Modell hat aufgrund von Datenkontamination im Trainingsset einige Fähigkeiten für nicht-englische Sprachen, aber seine Leistung wird als suboptimal eingeschätzt. “ Es bleibt unklar, welche Daten Sesame verwendet hat, um CSM-1B zu trainieren, da das Unternehmen diese Informationen nicht offengelegt hat. Es ist wichtig zu beachten, dass dem Modell wesentliche Sicherheitsvorkehrungen fehlen. Sesame verlässt sich auf ein Ehrenkodex und ermutigt Entwickler und Nutzer, das Modell nicht für die Imitation der Stimme jemandes ohne Erlaubnis, die Erstellung irreführender Materialien wie falscher Nachrichten oder für schädliche oder böswillige Aktivitäten zu nutzen. Ich habe die Demo auf Hugging Face getestet, und die Imitation meiner Stimme dauerte weniger als eine Minute. Danach war es einfach, Sprache zu verschiedenen Themen, einschließlich strittiger Themen wie Wahlen und russische Propaganda, zu generieren. Consumer Reports hat kürzlich gewarnt, dass viele der heute verfügbaren, beliebten KI-gestützten Sprachklonwerkzeuge an „bedeutenden“ Schutzmaßnahmen gegen Betrug oder Missbrauch fehlen. Sesame, mitbegründet von Oculus-Mitbegründer Brendan Iribe, erregte Ende Februar erhebliche Aufmerksamkeit für seine Assistententechnologie, die fast das Unheimliche Tal überwindet. Maya und Sesames anderer Assistent, Miles, atmen, zeigen Sprachunflüssigkeiten und können unterbrochen werden, während sie sprechen, ähnlich wie die Voice Mode-Funktion von OpenAI. Das Unternehmen hat eine nicht offengelegte Investition von Andreessen Horowitz, Spark Capital und Matrix Partners gesichert. Neben der Entwicklung von Sprachassistententechnologie prototypisiert Sesame KI-Brillen, die „für den Ganztagsgebrauch gedacht sind“ und deren proprietäre Modelle nutzen werden.