AI-yritys Sesame on esitellyt perustavan mallin, joka ohjaa Maya-nimistä, vaikuttavan elävänoloista ääniavustajaa. Tämä malli, joka sisältää 1 miljardin parametrin (missä “parametrit” viittaavat mallin eri komponentteihin), on julkaistu Apache 2. 0 -lisenssillä, mikä mahdollistaa kaupallisen käytön vähäisin rajoituksin. Nimeltään CSM-1B, tämä malli tuottaa “RVQ-äänikoodit” sekä tekstistä että ääniinputista, kuten Sesame kuvailee AI-kehitysalustalla Hugging Facessa. RVQ tarkoittaa “jäänteisen vektorin kvantisaatiota”, menetelmää, jota käytetään äänen koodamiseen erillisiin tokeneihin, joita kutsutaan koodeiksi. Tätä tekniikkaa käytetään monissa nykyaikaisissa AI-ääniteknologioissa, mukaan lukien Googlen SoundStream ja Meta:n Encodec. CSM-1B perustuu Meta:n Llama-perheeseen ja sisältää äänen “dekooderi”-komponentin. Sesamen mukaan hienosäädetty versio CSM:stä voimanlähteenä Maya. CSM-1B:n Hugging Face- ja GitHub-repositorioissa Sesame toteaa: “Tämä avointa lähdekoodia oleva malli on perusmalli. Se voi tuottaa erilaisia ääniä, mutta sitä ei ole hienosäädetty minkään tietyn äänen mukaan.

[…] Mallilla on jonkin verran kykyä ei-englanninkielisiin kieliin, johtuen datan häiriöstä koulutussetissä, mutta sen suorituskyvyn odotetaan olevan alle optimaalisen. ” On epäselvää, mitä tietoja Sesame käytti CSM-1B:n kouluttamiseen, sillä yritys ei ole paljastanut tätä tietoa. On tärkeää huomata, että mallilta puuttuu merkittäviä turvatoimia. Sesame luottaa kunnianhimoiseen järjestelmään, kannustaen kehittäjiä ja käyttäjiä pidättäytymään mallin käytöstä jonkun äänen jäljittelemiseen ilman lupaa, harhaanjohtavan materiaalin, kuten valeuutisten, luomiseen tai haitallisiin tai ilkeisiin toimintoihin ryhtymiseen. Kävin demoa läpi Hugging Facessa, ja oman äänen jäljitteleminen kesti alle minuutin. Tämän jälkeen puheen tuottaminen eri aiheista, mukaan lukien kiistanalaisista aiheista kuten vaaleista ja Venäjän propagandasta, oli vaivatonta. Consumer Reports varoitti äskettäin, että monet suositut AI-pohjaiset äänen kloonaustyökalut, joita on saatavilla tänään, eivät sisällä “merkittäviä” suojatoimia petoksia tai väärinkäytöksiä vastaan. Sesame, jonka yksi perustajista on Oculusin toinen luoja Brendan Iribe, sai suurta huomiota helmikuun lopulla avustajateknologiansa ansiosta, joka lähes navigoi outojen laaksojen rajamailla. Maya ja Sesamen toinen avustaja, Miles, hengittävät, osoittavat puhesujuvuuden häiriöitä ja niitä voidaan keskeyttää puhuessaan, aivan kuten OpenAI:n Voice Mode. Yritys on saanut ilmoittamatonta investointia Andreessen Horowitzilta, Spark Capitalilta ja Matrix Partnersilta. Ääniavustajateknologian kehittämisen ohella Sesame prototyypittää AI-laseja, “jotka on tarkoitettu koko päivän käyttöön” ja jotka hyödyntävät sen omia malleja.