原题:Duo: A Reciprocal World Model for Full-Duplex Interaction
作者认为现有世界模型主要模拟物理现实,把推理和决策当作外部控制。Duo v1 把两部分都放进模型:Intent 模块用自回归方式持续推理、决定何时参与互动;Realization 模块生成连贯的音视频行为。两者按块构建条件、在统一时间线上同步 token,用模块专属的注意力掩码保证不看未来输入;训练时用“双重展开蒸馏”,让两边分别在自己生成的 Intent token 和合成的音视频历史上学习,减轻推理时的分布偏移。作者称用户可以自然对话和打断,还能展示实物、改变虚拟场景、指挥助手或玩音视频游戏,不需要鼠标键盘。
为什么重要 把“想做什么”和“怎么表现出来”放进同一个模型、同一条时间线,交互时可以自然插话和打断,不再是先听完再生成
点赞 36 · 代码星数 27
理由
- 放出四份权重:Duo-1.0 因果基座、4 步蒸馏版、量化版,以及画质改进的 Duo-1.2 因果基座;Realization 权重从 MiniMax H3 初始化后再训练
- main 分支是研究用的离线流程(录好的视频 → Qwen3-ASR 转写对齐 → Intent → Realization → 音视频编解码);inference/vllm-omni-duo(推荐)和 inference/sglang-omni-duo 分支提供实时流式部署
- 前端有不加载权重的预览模式,可以先看交互界面
用法
- 代码:https://github.com/inclusionAI/Duo(Apache-2.0);权重:抱脸 inclusionAI/Duo-1.2-causal-base(含 ASR 和对齐模型的完整包)
- 建模型和语音两个虚拟环境,hf download inclusionAI/Duo-1.2-causal-base --local-dir weights,复制并修改 configs/inference.example.json,运行 run_demo.py --port 4173 后在网页里录制或上传视频
- 基座默认 50 步采样;要用 4 步蒸馏版,先下载 1.0 基座再把 Duo-1.0-distill 覆盖到同一目录
风险
- v1 是给研究者的预览版,README 说目前只支持基础的音视频对话;摘要里提到的视觉互动要等 Duo v2
- 默认配置需要两张 CUDA 显卡(Intent 与编解码一张、Realization 一张);权重适用 MiniMax H3 社区许可
- 作者未给出量化评测数字;本条未运行