Sophon-Realtime v1 更新:E2E 版改为单卡正式版

Adventists AI(AI 降临派)的开源全双工语音模型家族,11-10 已收录。三个版本共用同一个 32B“大脑”负责听、判断轮次和写回复,区别只在回复怎么变成声音:Tag 用表现力更强的语音模型,Flash 更快、单卡并发更多,E2E 用约 3.5 亿参数的说话头直接生成连续声音向量。11-10 之后的进展:11-11 E2E 版(1.1.3)从预览转为正式版,从两张卡降到一张 80GB 卡;11-12(1.1.4)E2E 也能作为 vLLM-Omni 模型部署,命令和接口与 Tag、Flash 相同;11-13(1.2.0)长回复不再在约 2 分钟处截断;11-14(1.3.0)E2E 支持零样本音色克隆,给 5–12 秒录音即可,权重未变。

原题:adventists-ai/Sophon-Realtime-v1

Adventists AI(AI 降临派)的开源全双工语音模型家族,11-10 已收录。三个版本共用同一个 32B“大脑”负责听、判断轮次和写回复,区别只在回复怎么变成声音:Tag 用表现力更强的语音模型,Flash 更快、单卡并发更多,E2E 用约 3.5 亿参数的说话头直接生成连续声音向量。11-10 之后的进展:11-11 E2E 版(1.1.3)从预览转为正式版,从两张卡降到一张 80GB 卡;11-12(1.1.4)E2E 也能作为 vLLM-Omni 模型部署,命令和接口与 Tag、Flash 相同;11-13(1.2.0)长回复不再在约 2 分钟处截断;11-14(1.3.0)E2E 支持零样本音色克隆,给 5–12 秒录音即可,权重未变。

为什么重要 上次收录后连续更新:E2E 版能和 Tag、Flash 用同一套接口部署,长回复能说完,还提供免费试用的托管接口

上升分 158 · 点赞 210 · 下载量 0

理由

  • 官方称三版共用的大脑 VoiceBench 82.8、Big Bench Audio 81.8%,在开源全双工模型中都排第一;E2E 单路首包约 0.25 秒,单卡建议并发 16 路
  • 官方给出 E2E 的非语言声音评测:NVV-SuperBench 中文 0.85、英文 0.75(笑、咳嗽、叹气、呼吸四类合计)
  • 主页新增托管接口,注册送 3 小时语音对话,兼容 OpenAI Realtime 协议,没有显卡也能试

用法

  • E2E 的 vLLM-Omni 方式:git clone https://github.com/adventists-ai/sophon-realtime,进 e2e/ 目录运行 bash install.sh(约 41GB),再 GPU=0 PORT=8000 bash start.sh,接口为 /v1/realtime 和 /v1/chat/completions
  • 要表现力优先选 Tag、要单卡并发选 Flash(pip install "sophon-realtime[trt]" 后 sophon-realtime serve);Live 模式兼容 OpenAI GPT-Live 协议,可把查询和操作交给更大的后端模型

风险

  • 需要 H100 级 80GB 显卡(E2E 实际占用约 70GB);官方称在 RTX PRO 6000 上 E2E 只能跟上约 4–8 路并发
  • E2E 版只支持中、英两种语言;评测为官方自报,部分对比分数取自第三方榜单
  • 零样本音色克隆需代码 1.3.0 及以上且只在 vLLM-Omni 方式下可用;本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态