La empresa de inteligencia artificial Sesame ha presentado el modelo fundamental que impulsa a Maya, un asistente de voz impresionantemente realista. Este modelo, que comprende 1 mil millones de parámetros (donde “parámetros” se refiere a los componentes distintos del modelo), se lanzó bajo una licencia Apache 2. 0, lo que permite su uso comercial con mínimas restricciones. Llamado CSM-1B, el modelo produce “códigos de audio RVQ” a partir de entradas de texto y audio, según la descripción de Sesame en la plataforma de desarrollo de IA Hugging Face. RVQ significa “cuantificación de vectores residuales”, un método utilizado para codificar audio en tokens discretos conocidos como códigos. Esta técnica se utiliza en varias tecnologías de audio de IA contemporáneas, incluidas SoundStream de Google y Encodec de Meta. CSM-1B se basa en un modelo de la familia Llama de Meta e incorpora un componente de “decodificador” de audio. Según Sesame, una versión ajustada de CSM potencia a Maya. En los repositorios de CSM-1B en Hugging Face y GitHub, Sesame afirma: “El modelo de código abierto aquí es un modelo de generación base. Puede producir varias voces, pero no ha sido ajustado para ninguna voz específica.

[…] El modelo tiene cierta capacidad para idiomas que no son inglés debido a la contaminación de datos en el conjunto de entrenamiento, pero se espera que su rendimiento sea subóptimo. ” No está claro qué datos utilizó Sesame para entrenar CSM-1B, ya que la empresa no ha divulgado esta información. Es importante señalar que el modelo carece de salvaguardias sustanciales. Sesame se basa en un sistema de honor, animando a los desarrolladores y usuarios a abstenerse de usar el modelo para imitar la voz de alguien sin permiso, crear material engañoso como noticias falsas, o participar en actividades dañinas o maliciosas. Probé la demostración en Hugging Face, y imitar mi voz tomó menos de un minuto. Después de eso, generar discurso sobre varios temas, incluidos los controvertidos como las elecciones y la propaganda rusa, fue sencillo. Consumer Reports advirtió recientemente que muchas herramientas populares de clonación de voz impulsadas por IA disponibles hoy en día carecen de “protecciones significativas” contra fraudes o abusos. Sesame, cofundada por el co-creador de Oculus, Brendan Iribe, ganó atención significativa a finales de febrero por su tecnología de asistente, que casi navega el valle inquietante. Maya y el otro asistente de Sesame, Miles, respiran, exhiben disfluencias al hablar y pueden ser interrumpidos mientras hablan, de manera similar al Modo de Voz de OpenAI. La compañía ha asegurado una inversión no divulgada de Andreessen Horowitz, Spark Capital y Matrix Partners. Además de desarrollar tecnología de asistentes de voz, Sesame está prototipando gafas de IA “destinadas para usarse todo el día” que utilizarán sus modelos patentados.