Sophon-Realtime-4B-Flash

Sophon-Realtime-4B-Flash 是 adventists-ai 开源的全双工语音对话模型:你说话时它一直在听,从声音判断你是否说完,再一边写带 [laughter]、[sigh] 等声音标签的回复一边开口,由一个更轻的语音模型按每 80 毫秒一帧朗读。官方称单张 24 GB 显卡可跑(占用约 21 GB),在 RTX PRO 6000 上首段音频约 0.21 秒出来,Full-Duplex-Bench v1.0 四项平均 87.7。它作为一个 vLLM-Omni 模型部署,提供 /v1/realtime 和 /v1/chat/completions 接口;同系列另有表现力更强的 Tag 版和端到端 E2E 版(都要 32 GB 显卡)。

Sophon-Realtime-4B-Flash 是 adventists-ai 开源的全双工语音对话模型:你说话时它一直在听,从声音判断你是否说完,再一边写带 [laughter]、[sigh] 等声音标签的回复一边开口,由一个更轻的语音模型按每 80 毫秒一帧朗读。官方称单张 24 GB 显卡可跑(占用约 21 GB),在 RTX PRO 6000 上首段音频约 0.21 秒出来,Full-Duplex-Bench v1.0 四项平均 87.7。它作为一个 vLLM-Omni 模型部署,提供 /v1/realtime 和 /v1/chat/completions 接口;同系列另有表现力更强的 Tag 版和端到端 E2E 版(都要 32 GB 显卡)。

为什么重要 同系列 32B 版要更大的卡;4B 保留插话、接话和笑声叹气等声音标签,适合本地陪聊和角色扮演,但知识弱很多。

抱脸点赞 6 · 抱脸上升分 5 · 抱脸下载 31

许可证:可商用 · ComfyUI:暂无 · 显存:32 GB

理由

  • Apache-2.0 许可,抱脸和魔搭都能下载,有抱脸在线演示空间
  • 模型卡写清了 4B 和 32B 的跑分差距、测量条件和适用场景

用法

  • git clone https://github.com/adventists-ai/sophon-realtime 后进入 flash 目录运行 bash install.sh;hf download adventists-ai/Sophon-Realtime-4B-Flash --local-dir ./model,再 GPU=0 PORT=8000 bash start.sh,用 python client_example.py --url http://127.0.0.1:8000 对话

风险

  • 官方称 4B 的知识和推理比 32B 弱很多(VoiceBench 62.4 对 82.8),会自信地说错事实,需要答案准确时用 32B 版
  • 只处理语音、没有视觉;支持零样本声音克隆,只能克隆自己或已获授权的声音;模型卡开头推荐的托管 API 是官方付费服务

打开

抱脸 any-to-any 上升榜

浏览最新 AI 动态