NVIDIA 10 月 28 日发布开放权重语音模型 Nemotron 3.5 Transcribe：一个模型同时做转写、说话人标注、翻译和音频问答，用一句自然语言指令决定输出什么；可转写 40 种语言，其中 31 种可与英语互译、13 种能标说话人，单段录音最长 1 小时、最多 8 个说话人。同时开放 Granary v2 数据清洗流水线和数据清单，以及 NeMo Speech 微调教程。
置信度：高（100） · 事件时间 2026-10-28
理由
- 同一段会议录音，换一句提示就能输出带说话人标签的逐字稿、英文译文或“这次会议做了哪些决定”的回答；还可以在提示里给出专业词表（如药名），模型只在录音里确实出现时才用。原来要串联转写、说话人分离、翻译几个模型的流程，可以用一个模型完成。
- 结构是语音编码器 + 混合 Mamba–Transformer 混合专家语言模型，总参数约 30B、每个 token 激活约 4B（模型卡写约 4.3B，含音频编码器），提供 BF16、FP8、NVFP4 三种精度。官方称：Hugging Face Open ASR 英文榜开放权重第一（平均词错率 5.33%）；Artificial Analysis 语音转文字榜开放权重并列第一（2.8%），对手激活参数 24B；David AI 的 21 语言说话人分离榜错误率 18.26% 最低。
- 官方给了领域适配的完整案例：印度医生口音的医疗语音集上，写好提示把词错率从 30.8% 降到 23.8%，再微调降到 11.8%；在没参与调参的说话人上从 22.44% 降到 12.17%（相对降 45.8%），整套适配在一张 GB300 上约 14 GPU 小时。
- Granary v2 公开清单覆盖 463,062 小时、48 种语言、16 个来源语料（v1 为 25 种语言），每条录音给逐字、规范化等三种转写写法，流水线可以拿去处理自己的录音。
用法
- 模型在 Hugging Face nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B（ModelScope 同步），有在线演示；可用 vLLM 或 SGLang-Omni 自托管，或用 Baseten、DeepInfra、Simplismart 的托管端点。量化版和 NeMo-Speech.cpp 本地部署官方称“即将推出”。
- 数据在 Hugging Face nvidia/Granary-v2；微调看 NeMo Speech 教程和医疗 ASR 案例，另有让编程智能体跑完整微调流程的 agent skill。模型卡给了各任务的推荐提示词和语言支持矩阵。
风险
- 只处理录好的音频，不是实时流式识别；音频问答、推理和语音指令只在英语上评测过。
- 许可是 OpenMDW-1.1，模型卡写可商用；模型卡也写明纯文本任务表现低于其基础语言模型。
- The Decoder 称 Granary v2 约 84.4 万小时，与 NVIDIA 博客的 463,062 小时不一致，以官方为准；SiliconANGLE 关于“可消化 100 小时音频”等描述与官方原文不符。
- 榜单成绩由官方汇总，没有看过模型的实际输出。
打开 · Nemotron 3.5 Transcribe 模型卡 · NVIDIA 博客（RTX Spark 本地 AI 汇总） · TechCrunch · The Decoder · SiliconANGLE