AI-selskapet Sesame har introdusert den grunnleggende modellen som driver Maya, en imponerende livaktig stemmeassistent. Denne modellen, som består av 1 milliard parametere (hvor "parametere" refererer til de distinkte komponentene i modellen), er utgitt under en Apache 2. 0-lisens, noe som utnytter kommersiell bruk med minimale restriksjoner. Modellens navn er CSM-1B og produserer "RVQ lydkoder" fra både tekst- og lyddatakilder, ifølge Sesames beskrivelse på AI-utviklingsplattformer som Hugging Face. RVQ står for "residual vector quantization, " en metode som brukes for å kode lyd til diskrete tokens kjent som koder. Denne teknikken brukes i ulike moderne AI-lydteknologier, inkludert Googles SoundStream og Metas Encodec. CSM-1B er bygget på en modell fra Metas Llama-familie og har en lyd "dekoder"-komponent. Ifølge Sesame er en finjustert versjon av CSM drivkraften bak Maya. I CSM-1Bs Hugging Face- og GitHub-repositorier oppgir Sesame: "Modellen som er open-sourcet her, er en grunnleggende generasjonsmodell. Den kan produsere forskjellige stemmer, men har ikke blitt finjustert for noen spesifikk stemme.

[…] Modellen har noe kapasitet for ikke-engelske språk på grunn av datakontaminering i treningssettet, men ytelsen forventes å være suboptimal. " Det er fortsatt uklart hvilke data Sesame brukte for å trene CSM-1B, siden selskapet ikke har offentliggjort denne informasjonen. Det er viktig å merke seg at modellen mangler betydelige sikkerhetstiltak. Sesame stole på et æresystem og oppfordrer utviklere og brukere til å avholde seg fra å bruke modellen til å imitere noens stemme uten tillatelse, lage misvisende materiale som falske nyheter, eller delta i skadelige eller ondsinnede aktiviteter. Jeg testet demoen på Hugging Face, og det tok mindre enn et minutt å etterligne stemmen min. Deretter var det enkelt å generere tale om ulike emner, inkludert kontroversielle som valg og russisk propaganda. Consumer Reports advarte nylig om at mange populære AI-drevne verktøy for stemmekloning som er tilgjengelige i dag mangler "meningsfylte" beskyttelser mot svindel eller misbruk. Sesame, co-grunnet av Oculus-samarbeideren Brendan Iribe, fikk betydelig oppmerksomhet i slutten av februar for sin assistentteknologi, som nesten navigerer i det uncanny valley. Maya og Sesames andre assistent, Miles, puster, viser taleustabilitet, og kan bli avbrutt mens de snakker, likt OpenAIs Voice Mode. Selskapet har sikret seg en ikke-offentliggjort investering fra Andreessen Horowitz, Spark Capital og Matrix Partners. I tillegg til å utvikle stemmeassistentteknologi, prototyper Sesame AI-briller "ment for helgedagsbruk" som vil bruke selskapets egenutviklede modeller.