Duo 由 Intent 和 Realization 两个模块组成:用户视频经语音识别和强制对齐切成片段送进 Intent,Intent 在统一时间线上决定要不要回应、怎么回应,再引导 Realization 生成助手的音视频。这次开放 Duo-1.0 的因果基础版、4 步蒸馏版和 FP8 量化版,以及画质改进的 Duo-1.2 因果基础版;权重从 MiniMax H3 初始化,主分支是研究用的离线流程,vLLM-Omni 和 SGLang-Omni 分支提供实时流式部署。
为什么重要 多数生成模型要等你说完才出结果;它用自回归的 Intent 模块决定何时、如何接话,再驱动生成模块出音视频,并开源了流式部署。
抱脸点赞 4 · 抱脸上升分 4 · 抱脸下载 0
许可证:有条件商用 · ComfyUI:暂无 · 显存:显存未标
地区许可:MiniMax H3 开放权重许可不含欧盟、英国、韩国、美国(LICENSE 的 Excluded Territories),这四地要另找 MiniMax 授权。
理由
- 附论文、技术报告、浏览器演示控制台和抱脸在线演示
- 代码 Apache-2.0,魔搭同步提供权重
用法
- 克隆 github.com/inclusionAI/Duo,按 README 分别建模型和语音两个 Python 环境,hf download inclusionAI/Duo-1.2-causal-base --local-dir weights,改好 configs/inference.json 后运行 run_demo.py --port 4173,在网页里录一段视频看它怎么回应
风险
- 预览版,目前只支持基础的音视频对话,视觉交互要等 v2;默认离线配置要 2 张 CUDA 显卡
- 权重沿用 MiniMax H3 社区许可,不适用于欧盟、英国、韩国和美国