ServiceNow 的语音语言模型：在 Gemma 4 26B-A4B 上接一个 Whisper large-v3-turbo 语音编码器和投影层，直接听语音，输出文字回答和结构化工具调用，不需要先转写再交给另一个对话模型；同时保留文字和图片输入。训练分两阶段：先对齐语音接口，再用监督微调、文本回放和按数据来源区分的交叉熵 / 正向 KL 蒸馏一起调投影层和主干。它只输出文字和工具调用，说话要另接语音合成。
点赞 33
理由
- 作者称思考模式下 Big Bench Audio 98.90、Speech-BFCL 81.13、τ-Voice 任务成功率 65.51%，平均延迟 1.91 秒；模型卡表格里 EVA 体验分高于所列的开源两段式、三段式方案。
- 权重 MIT 许可，模型卡给了 vLLM 部署（OpenAI 兼容接口、自动工具选择）和 Transformers 两种用法，可直接做语音客服、口述工具调用一类应用。
- 抱脸当日点赞第五（只代表关注度）；模型卡称文字推理和工具调用分数与 Gemma 4 26B-A4B 基本持平，加语音没有明显拖累文字能力。
用法
- 在线体验：模型卡里的 Apriel Live（servicenow-ai-apriel.hf.space）。
- 部署：用模型卡给的 vLLM v0.32.0 镜像（或上游 vLLM PR #64683），vllm serve --model ServiceNow-AI/Apriel-Voice-27B-preview --trust-remote-code --tensor-parallel-size 4 --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4，示例按四卡配置。
- 调用：OpenAI 客户端 messages 里放 {"type": "audio_url"} 加文字指令；工具调用传 tools，读 message.tool_calls；转写类任务用 temperature 0.4 并关闭思考。
- 音频要 16 kHz 单声道，长录音自动按 30 秒切块，模型卡称约 30 分钟以内表现较好。
风险
- Preview 版本，没有独立代码仓库；部署镜像在个人 Docker 账号下，官方 vLLM 支持还在 PR 里。
- 部署门槛高：示例是四张 H100 80GB 级显卡；端到端体验还取决于外接的 TTS 和轮次管理，模型本身不是全双工语音。
- 模型卡写明多语种表现不均、嘈杂和远场语音仍难、复杂工具流程可能出错；基准分数为官方报告。