Компания Sesame представила базовую модель, на основе которой работает Мая, впечатляющий голосовой ассистент с реалистичным звучанием. Эта модель, состоящая из 1 миллиарда параметров (где "параметры" обозначают различные компоненты модели), выпущена под лицензией Apache 2. 0, что позволяет использовать ее в коммерческих целях с минимальными ограничениями. Под названием CSM-1B модель генерирует "RVQ аудиокоды" из текстовых и аудиовходов, согласно описанию Sesame на платформе разработки ИИ Hugging Face. RVQ расшифровывается как "остаточная векторная квантизация", метод, используемый для кодирования аудио в дискретные токены, известные как коды. Эта техника применяется в различных современных аудиотехнологиях ИИ, включая SoundStream от Google и Encodec от Meta. CSM-1B построена на модели из семейства Llama от Meta и включает в себя компонент "декодера" аудио. Согласно Sesame, для Маи используется доработанная версия CSM. В репозиториях CSM-1B на Hugging Face и GitHub компания Sesame указывает: "Открытая здесь модель является базовой моделью генерации. Она может производить различные голоса, но не была доработана под какой-либо конкретный голос.

[…] Модель обладает некоторыми возможностями для неанглийских языков благодаря загрязнению данных в обучающем наборе, но ее производительность ожидается не оптимальной. " Неясно, какие данные использовала компания Sesame для тренировки CSM-1B, так как эта информация не была раскрыта. Важно отметить, что у модели отсутствуют серьезные защитные механизмы. Sesame полагается на принцип доверия, призывая разработчиков и пользователей воздерживаться от использования модели для имитации чьего-либо голоса без разрешения, создания вводящего в заблуждение материала, такого как ложные новости, или участия в вредной или злонамеренной деятельности. Я протестировал демонстрацию на Hugging Face, и имитация моего голоса заняла менее минуты. После этого генерация речи на различные темы, включая спорные, такие как выборы и российская пропаганда, была простой. Издание Consumer Reports недавно предостерегло, что многие популярные инструменты клонирования голоса на базе ИИ, доступные сегодня, не имеют "значительных" защитных механизмов против мошенничества или неправомерного использования. Компания Sesame, соучредителем которой является один из создателей Oculus Брендан Ирибе, привлекла значительное внимание в конце февраля к своей технологии ассистента, которая почти преодолевает зону ужаса. Мая и другой ассистент Sesame, Майлз, демонстрируют дыхание, отступления в речи и могут быть прерваны во время разговора, аналогично Voice Mode от OpenAI. Компания получила неопубликованное инвестирование от Andreessen Horowitz, Spark Capital и Matrix Partners. Помимо разработки технологии голосовых ассистентов, Sesame разрабатывает прототипы AI-очков "предназначенных для ношения в течение всего дня", которые будут использовать ее собственные модели.