原题:adventists-ai/Sophon-Realtime-v1
Adventists AI 的全双工语音对话模型家族主页。三个版本共用同一个 32B 模型负责听、判断轮次和写回复,区别只在发声方式:Tag(推荐)由模型写出带声音标记的回复,再由表现力语音模型演出笑、叹气、清嗓等;Flash 换成更轻快的语音模型,官方称单用户首包音频 0.31 秒;E2E 是端到端研究预览。官方称 VoiceBench 82.8、Big Bench Audio 81.8%,在开源全双工模型中排第一。支持打断和附和,另有兼容 OpenAI GPT-Live 协议的网关,可把查询和操作交给后端大模型。
为什么重要 开源实时语音对话里少见能听出语气并用笑声、叹气回应的,单卡可部署、可商用
上升分 63 · 点赞 65 · 下载量 0
理由
- 能听出犹豫、强调、讽刺、笑声等语气信息,并用相应的语气回答
- Tag 和 Flash 版本官方称单张 80 GB 显卡、一条命令用 vLLM-Omni 起服务
- 代码和权重 Apache-2.0,可商用;支持用 LoRA 微调人设、语气和领域知识
用法
- pip install sophon-realtime 后运行 sophon-realtime serve(首次会下载约 42 GB 的 Tag 权重)
- 只想试听可用魔搭创空间在线对话;部署权重在 Sophon-Realtime-32B-Tag / Flash 两个仓库
风险
- 本仓库是家族主页,部署要用 Tag 或 Flash 仓库的权重,微调底座放在魔搭
- 评测多为官方自跑,并由大模型评分
- 本条未运行,效果以模型卡为准