SOV-Transcribe-1:Salesforce 开放权重的语音转写模型

Salesforce 11 月 10 日上传的非流式语音识别模型,模型卡称总参数 26.6B(激活 4.6B,含音频编码器),由 Whisper large-v3 音频编码器、投影层和 Gemma 4 26B A4B MoE 组成。支持英、法、德、西、意、葡、荷 7 种语言,单段音频测到 30 分钟;可用自然语言指令选择逐字稿或整理稿、控制标点和数字格式,也能传入人名、术语或主题描述帮助识别难词。Apache-2.0 许可。

原题:salesforce-sovereign-intelligence/SOV-Transcribe-1

Salesforce 11 月 10 日上传的非流式语音识别模型,模型卡称总参数 26.6B(激活 4.6B,含音频编码器),由 Whisper large-v3 音频编码器、投影层和 Gemma 4 26B A4B MoE 组成。支持英、法、德、西、意、葡、荷 7 种语言,单段音频测到 30 分钟;可用自然语言指令选择逐字稿或整理稿、控制标点和数字格式,也能传入人名、术语或主题描述帮助识别难词。Apache-2.0 许可。

为什么重要 可部署在自己的服务器上,人名、电话、邮箱这类细节识别更准,逐字稿还是整理稿用一句话就能控制

上升分 46 · 点赞 60 · 下载量 572

理由

  • 官方称截至 11 月 12 日,在 Artificial Analysis 非流式语音转文字榜上是开放权重模型第 1(总榜第 7),在 VoiceCodeBench 23 个系统中实体准确率和任务成功率排第 2
  • 配有 DFlash 推测解码草稿模型,单请求时解码约快 2–3 倍;官方在一张 RTX PRO 6000 Blackwell 上测得 30 秒录音 0.22 秒返回,每秒最多转写 1,039 秒音频
  • 模型卡给出提示词模板(逐字、关键词、自动语种、指定语种)以及各项评测的提示词和评分脚本,便于复现

用法

  • Transformers(>=5.19,<5.23):AutoProcessor 和 AutoModelForMultimodalLM 用 trust_remote_code=True 加载,音频按 16 kHz 单声道读入,processor.apply_transcription_request(audio, prompt="...") 后 generate
  • vLLM(官方推荐):hf download 本仓库的 vllm_plugin/* 后 pip install(会装 vLLM 0.32.0),再 vllm serve,用 OpenAI 兼容的 /v1/audio/transcriptions 接口;默认单次 600 秒,要 30 分钟把 VLLM_MAX_AUDIO_DECODE_DURATION_S 设为 1800
  • 专有名词提示用 This audio may contain the following words or phrases: {keywords}. Transcribe the audio into text.;官方建议贪心解码(temperature=0)并关闭 thinking

风险

  • 不支持中文,也不支持流式识别;排名和速度都是官方说法,评测表只有图片
  • 原生支持还在合并进 vLLM 和 Transformers,目前要 trust_remote_code 或官方插件;速度在 96 GB 显存的专业卡上测得,普通显卡能否装下官方没写
  • 少数情况下会一直重复某个字或短语直到长度上限,官方用后处理去掉;长录音建议按停顿切段。本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态