腾讯混元的实时同声传译模型,中英双向:持续接收语音、边听边输出译文文本,配置好 TTS 服务后还能输出保留说话人音色的译文语音。这是 FP8 量化版,同系列另有 BF16、GGUF,以及同时输出原文和译文的 Interleave 版。
上升分 132 · 点赞 135 · 下载量 93
理由
- 官方称在 RealSI 长音频评测中 StreamLAAL(流式翻译滞后)约 3 秒,是对比系统里最低的,GEMBA 质量分高于对比的开源模型和 5 个商业 API 中的 4 个;官方也说明 StreamLAAL 不等于首次出声时间。
- 官方称四个短音频基准:FLEURS 90.3、CoVoST2 75.5、ACL6060 81.2、RealSI-Sentence 84.7(表中最高);FLEURS 低于 Gemini3.5-LiveTranslate 的 92.4,CoVoST2 低于 Qwen3.8-LiveTranslate 的 82.1。
- 官方另用 18 段 2026 年 9 月以后新出现的中英音频(每段约 6 分钟)与 6 名持 CATTI 一、二级证书的同传译员对比,称质量相当、延迟常更低,但注明结论只适用于这批样本。10 月 26 日发布,此前各期没有收录;上升分 132 只代表关注度。
用法
- 一键部署:git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git,进入 SimulInfer/ 运行 bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave(--model 可换成其他版本的 ID 或本地路径);出现 Ready 后打开 http://127.0.0.1:8080/,选翻译方向,上传音频或开麦克风。
- 命令行:curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F [email protected];要输出译文语音和音色克隆,先 cp deploy.example.toml deploy.toml,在里面配置 TTS 连接,再 bash deploy.sh --config deploy.toml。
- 环境:Linux、Python 3.12+、NVIDIA GPU,已有环境需 vLLM >=0.31(支持 HYV3ForCausalLM)并装 simulst;另可用 SGLang-Omni(只支持 BF16 版、只出文本,单次请求音频最长 30 秒),GGUF 版要等 llama.cpp 合并 PR #31198。
风险
- 只支持中英互译,标签里列的其他语言在卡里没有说明;译文语音和音色克隆依赖另外配置的 TTS 服务。
- 模型卡没写 FP8 版的显存需求;官方称 BF16 版权重约 57 GiB(不含 KV 缓存),单张 H200 够用。
- 分数和译员对比均为官方自测,译员对比样本小;音色克隆没有给相似度数据,两段演示视频是离线回放,官方说明不能当作延迟测量。
编辑:GitHub 仓库里有 SimulTrain 训练工具,可从已发布的检查点继续训练;只要文字译文的话,SGLang-Omni 路径更轻,但不覆盖 FP8 版。