Maya Research 的流式语音合成模型：支持 11 种印度语言和英语，输出 24 kHz 单声道语音，内置 20 个合成音色，也能用 3–10 秒参考音频零样本克隆音色，并跨语言使用（例如用印地语参考音频说泰米尔语）。
上升分 72 · 点赞 72 · 下载量 0
理由
- 官方称 2.50B 参数（约 5.0 GB BF16 权重）：主干从 Qwen3-1.7B-Base 初始化，加约 555M 的 depth decoder，用 Kyutai Mimi 编解码，每 80 ms 输出一帧音频，可以边生成边播放。
- 官方用 6,000 条留出文本（12 种语言、31 类内容，共 20.3 小时语音）评测：三个 ASR 评审的整体字错率在 2.86% 到 3.49% 之间（scorer v1）；网址和印度语言夹英文的混排仍难，网址类 ASR-1 字错率 29.06%。
- 官方称单张 H100 NVL 上 224 路并发 WebSocket 流、稳态首包延迟 p50 为 111 ms；10 月 27 日查看的 VoiceArena 印地语实时 TTS 榜排第 2。10 月 26 日建仓，此前各期没有收录。
用法
- 环境：Linux、Python 3.10–3.12、支持 CUDA 12.8 的 NVIDIA GPU；pip install "maya3[server] @ git+https://github.com/MayaResearch/maya2-native" --extra-index-url https://download.pytorch.org/whl/cu128（包名和类名仍叫 maya3 / Maya3TTS）。
- Python：tts = Maya3TTS.from_pretrained("maya-research/maya2-native", max_seats=1)；tts.generate(文本, lang="hi", voice="Ahana", normalize=True) 返回 24 kHz 波形；Python 接口要手动传 normalize=True 才会把数字、货币、日期转成口语读法，流式用 tts.stream(...)。
- 克隆：tts.register_voice("my_voice", ref_audio=参考音频, ref_text=逐字转写, lang=参考语言)，生成时 lang 填目标语言；服务端：python -m maya3.server --ckpt maya-research/maya2-native --port 8080 --max-seats 1，提供 OpenAI 兼容的 /v1/audio/speech 和 WebSocket 流式接口。
风险
- 不支持中文；没有任何内置音色有 1 小时以上的阿萨姆语训练数据，可能带孟加拉语口音；一两个词的短句音色不稳。
- 官方称单路加载峰值约 9.2 GB（另加 CUDA 上下文），建议 12 GB 以上显卡；自带服务端没有鉴权，对外开放前要自己加。
- 不加音频水印，官方要求只克隆本人或已授权的声音；克隆相似度没有专门评测，所有分数都是 ASR 和声纹自动评分，没有人工自然度评测，也没有与其他 TTS 的对照。