Sophon-Realtime v1:能听语气、会笑会叹气的全双工语音模型

Adventists AI 的全双工语音对话模型家族主页。三个版本共用同一个 32B 模型负责听、判断轮次和写回复,区别只在发声方式:Tag(推荐)由模型写出带声音标记的回复,再由表现力语音模型演出笑、叹气、清嗓等;Flash 换成更轻快的语音模型,官方称单用户首包音频 0.31 秒;E2E 是端到端研究预览。官方称 VoiceBench 82.8、Big Bench Audio 81.8%,在开源全双工模型中排第一。支持打断和附和,另有兼容 OpenAI GPT-Live 协议的网关,可把查询和操作交给后端大模型。

原题:adventists-ai/Sophon-Realtime-v1

Adventists AI 的全双工语音对话模型家族主页。三个版本共用同一个 32B 模型负责听、判断轮次和写回复,区别只在发声方式:Tag(推荐)由模型写出带声音标记的回复,再由表现力语音模型演出笑、叹气、清嗓等;Flash 换成更轻快的语音模型,官方称单用户首包音频 0.31 秒;E2E 是端到端研究预览。官方称 VoiceBench 82.8、Big Bench Audio 81.8%,在开源全双工模型中排第一。支持打断和附和,另有兼容 OpenAI GPT-Live 协议的网关,可把查询和操作交给后端大模型。

为什么重要 开源实时语音对话里少见能听出语气并用笑声、叹气回应的,单卡可部署、可商用

上升分 63 · 点赞 65 · 下载量 0

理由

  • 能听出犹豫、强调、讽刺、笑声等语气信息,并用相应的语气回答
  • Tag 和 Flash 版本官方称单张 80 GB 显卡、一条命令用 vLLM-Omni 起服务
  • 代码和权重 Apache-2.0,可商用;支持用 LoRA 微调人设、语气和领域知识

用法

  • pip install sophon-realtime 后运行 sophon-realtime serve(首次会下载约 42 GB 的 Tag 权重)
  • 只想试听可用魔搭创空间在线对话;部署权重在 Sophon-Realtime-32B-Tag / Flash 两个仓库

风险

  • 本仓库是家族主页,部署要用 Tag 或 Flash 仓库的权重,微调底座放在魔搭
  • 评测多为官方自跑,并由大模型评分
  • 本条未运行,效果以模型卡为准

打开

Hugging Face Trending

浏览最新 AI 动态