英伟达的离线语音转写模型：一个模型按文字指令完成 40 种语言的转写、与英语之间的双向语音翻译、多人录音的说话人标注、词级时间戳、语种识别和音频问答，单段录音最长 1 小时。总参数 34B（含音频编码器），每个 token 激活约 4.3B，语言主干是 Nemotron-3.5 Lightning 30B-A3B。
上升分 187 · 点赞 188 · 下载量 338
理由
- 官方称英文 Open ASR 榜 9 个公开集平均 WER 4.71（次优开源模型 Qwen3-ASR-1.7B 为 4.94），长音频平均 WER 10.98（Parakeet-TDT-0.6B-v3 为 13.37），7 种语言的多语种榜平均 4.62；AMI、CALLHOME、Mixer 6、NOTSOFAR-1 整段会议的平均 cpWER 15.80。
- 转写风格用指令切换：逐字保留口头语、去掉口头语的可读稿、带术语表的上下文转写、带 <spk:0> 等说话人标签的会议稿；官方称 NIM 优化版在一张 RTX PRO 6000 Blackwell 上每秒最多转写 2,238 秒音频、30 秒录音 0.13 秒出稿，但这些优化还没开源，随 NeMo Speech 发布的 vLLM 集成约慢一倍。
- 10 月 28 日在抱脸、GitHub、NGC 同步发布（仓库 10 月 7 日建），附技术报告，可商用；同时提供 FP8、NVFP4 版和 DFlash2 草稿模型，此前各期没有收录。上升分 187 只代表关注度。
用法
- vLLM：装 vLLM 0.32.0 和 NeMo Speech main 分支，设 VLLM_PLUGINS=nemo_speechlm、VLLM_MAX_AUDIO_DECODE_DURATION_S=3600（放开 1 小时录音），按卡里命令 vllm serve，单张 H100 80GB；再用 OpenAI 客户端把音频以 base64 的 audio_url 发过去，转写和翻译用 temperature 0、关闭思考。
- Transformers：从源码装 transformers，AutoModelForMultimodalLM + AutoProcessor 加载，processor.apply_transcription_request(音频) 后 generate。
- 卡里 Prompt Guide 给了现成指令：逐字稿、可读稿、术语表（Context terms: ...）、说话人标签、只转写离麦克风最近的人（实验）、Please translate the given speech to <目标语言>.；词级时间戳要用 V1 model runner 和 ctc_timestamp_middleware，不能和 DFlash2 推测解码同时用。
风险
- 中文属于“Supported”级（官方说可能需要微调）：FLEURS 中文 CER 8.62，中文会议 AISHELL-4、AliMeeting 的 cpCER 为 32.91 和 34.95；音频理解、推理和口语指令只在英语上评测过。
- 离线模型，内部按 30 秒切块不代表能做实时流式；官方列出的错误类型包括幻听、语种判断错和说话人归属错，长录音、多人重叠、噪声和人名要针对性测试。
- 所有分数为官方自测；部署建议 H100 80GB 级显卡，RTX 5090 只支持 NVFP4 版。
编辑：SGLang-Omni 0.2.0 也能部署，但不含词级时间戳、说话人输出、翻译和推测解码。