AI-virksomheden Sesame har introduceret den grundlæggende model, der driver Maya, en imponerende livagtig stemmeassistent. Denne model, som omfatter 1 milliard parametre (hvor "parametre" henviser til de forskellige komponenter i modellen), frigives under en Apache 2. 0-licens, hvilket muliggør kommerciel brug med minimale begrænsninger. Den hedder CSM-1B, og modellen producerer "RVQ audio codes" fra både tekst- og audioinput, ifølge Sesames beskrivelse på AI-udviklingsplatformen Hugging Face. RVQ står for "residual vector quantization", en metode, der bruges til at kode lyd til diskrete tokens kendt som koder. Denne teknik anvendes i forskellige moderne AI-lydteknologier, herunder Googles SoundStream og Metas Encodec. CSM-1B er bygget på en model fra Metas Llama-familie og inkluderer en audio "decoder"-komponent. Ifølge Sesame driver en finjusteret version af CSM Maya. I CSM-1B's Hugging Face- og GitHub-repositorier siger Sesame: "Den model, der open-source her, er en basismodelleringsmodel. Den kan producere forskellige stemmer, men er ikke blevet finjusteret til nogen specifik stemme.

[…] Modellen har en vis evne til ikke-engelske sprog på grund af datakontamination i træningssættet, men dens præstation forventes at være suboptimal. " Det er uklart, hvilke data Sesame har brugt til at træne CSM-1B, da virksomheden ikke har offentliggjort denne information. Det er vigtigt at bemærke, at modellen mangler betydelige sikkerhedsforanstaltninger. Sesame stole på et æresystem, der opfordrer udviklere og brugere til at undgå at bruge modellen til at efterligne nogens stemme uden tilladelse, skabe vildledende materiale som falske nyheder, eller deltage i skadelige eller ondsindede aktiviteter. Jeg testede demoen på Hugging Face, og at efterligne min stemme tog mindre end et minut. Efter det var det enkelt at generere tale om forskellige emner, herunder kontroversielle emner som valg og russisk propaganda. Consumer Reports advarede for nylig om, at mange populære AI-drevne stemmekloningsværktøjer, der er tilgængelige i dag, mangler "betydelige" beskyttelser mod svindel eller misbrug. Sesame, som blev co-fundet af Oculus medskaber Brendan Iribe, fik betydelig opmærksomhed i slutningen af februar for sin assistentteknologi, som næsten navigerer i det uncanny valley. Maya og Sesames anden assistent, Miles, ånder, udviser taleusikkerheder og kan blive afbrudt, mens de taler, ligesom OpenAI's Voice Mode. Virksomheden har sikret sig en uoplyst investering fra Andreessen Horowitz, Spark Capital og Matrix Partners. Udover at udvikle stemmeassistentteknologi prototype Sesame AI-briller, "beregnet til hel dags brug", som vil anvende deres propritære modeller.