Потоковая модель синтеза речи от Maya Research: поддерживает 11 индийских языков и английский язык, выводит монофоническую речь с частотой дискретизации 24 кГц, имеет встроенные 20 синтетических голосов, а также позволяет клонировать голос с помощью референсного аудио длительностью 3–10 секунд в режиме zero-shot и использовать его кросс-лингвистически (например, говорить на тамильском языке, используя референсный аудио на хинди).
Рост подписчиков: 72 · Лайки: 72 · Загрузки: 0
Обоснование
- Официально заявлено 2.50B параметров (примерно 5.0 ГБ весов в формате BF16): основная архитектура инициализирована с Qwen3-1.7B-Base, добавлен декодер глубины (depth decoder) примерно на 555M параметров, используется кодек Kyutai Mimi, генерация одного кадра аудио происходит каждые 80 мс, что позволяет воспроизводить аудио во время генерации.
- Официальная оценка выполнена на 6,000 отложенных текстовых фрагментах (охватывающих 12 языков и 31 типов контента, всего 20.3 часов аудио): общий показатель WER (word error rate) по трем системам распознавания речи (ASR) находится в диапазоне от 2.86% до 3.49% (версия скорера v1); URL-адреса и смешанный текст на индийских языках с английскими вставками остаются сложными для распознавания, WER для URL-адресов при использовании ASR-1 составляет 29.06%.
- Официально заявлено, что на одной видеокарте H100 NVL поддерживается 224 одновременных WebSocket-потоков, а задержка до первого пакета (p50) в устойчивом режиме составляет 111 мс; по состоянию на 27 10 модель занимала 2 место в рейтинге VoiceArena для синтеза речи в реальном времени на хинди. Репозиторий был создан 26 10, ранее в выпусках не упоминался.
Использование
- Окружение: Linux, Python 3.10–3.12, видеокарта NVIDIA с поддержкой CUDA 12.8; команда установки: pip install "maya3[server] @ git+https://github.com/MayaResearch/maya2-native" --extra-index-url https://download.pytorch.org/whl/cu128（包名和类名仍叫 maya3 / Maya3TTS).
- Python: tts = Maya3TTS.from_pretrained("maya-research/maya2-native", max_seats=1); tts.generate(текст, lang="hi", voice="Ahana", normalize=True) возвращает волну с частотой дискретизации 24 кГц; в интерфейсе Python необходимо вручную передать normalize=True, чтобы числа, валюты и даты преобразовывались в устную форму, для потоковой передачи используйте tts.stream(...).
- Клонирование: tts.register_voice("my_voice", ref_audio=референсное аудио, ref_text=пословная транскрипция, lang=язык референса), при генерации в параметре lang указывается целевой язык; серверная часть: python -m maya3.server --ckpt maya-research/maya2-native --port 8080 --max-seats 1, предоставляет совместимый с OpenAI интерфейс /v1/audio/speech и потоковый интерфейс WebSocket.
Риски
- Не поддерживается китайский язык; ни один из встроенных голосов не имеет более 1 часов обучающих данных на ассамском языке, что может приводить к акценту, характерному для бенгальского языка; короткие фразы из одного-двух слов могут звучать нестабильно.
- Официально заявлено, что пиковое потребление памяти при загрузке одного потока составляет примерно 9.2 ГБ (плюс контекст CUDA), рекомендуется использовать видеокарты с объемом памяти не менее 12 ГБ; встроенный сервер не имеет аутентификации, ее необходимо добавлять самостоятельно перед публичным доступом.
- Аудио не имеет водяных знаков, официально разрешено клонировать только собственный голос или голоса, на которые получено разрешение; сходство клонированного голоса не оценивалось отдельно, все метрики основаны на автоматической оценке с помощью ASR и верификации говорящего, отсутствует оценка естественности человеком и сравнение с другими системами TTS.