Code World Model 2.0:按结构代理视频实时渲染

蚂蚁 Inclusion AI、西湖大学、浙江大学的工作。世界状态留在上游引擎里,用“视觉代理”(语义图、稀疏 3D 框、主体遮罩、着色几何、带骨架的框等结构视频)固定镜头路径、场景布局和物体运动,再由视频模型 Invoker-Render 按代理、一张外观参考图和文字生成材质与光照。它包含一个双向的离线创作模型和一个因果四步流式模型,训练语料约 200 小时;为避免步数压缩和自回归漂移叠加,作者提出渐进强制(ProForcing):先训因果预测器并蒸馏成四步渲染器,再转到连续的自生成轨迹上训练。论文称赛车场景可稳定连续生成 30 分钟,场景和主体外观保持一致。

原题:Code World Model 2.0: Towards Infinite Controllable Video Generation

蚂蚁 Inclusion AI、西湖大学、浙江大学的工作。世界状态留在上游引擎里,用“视觉代理”(语义图、稀疏 3D 框、主体遮罩、着色几何、带骨架的框等结构视频)固定镜头路径、场景布局和物体运动,再由视频模型 Invoker-Render 按代理、一张外观参考图和文字生成材质与光照。它包含一个双向的离线创作模型和一个因果四步流式模型,训练语料约 200 小时;为避免步数压缩和自回归漂移叠加,作者提出渐进强制(ProForcing):先训因果预测器并蒸馏成四步渲染器,再转到连续的自生成轨迹上训练。论文称赛车场景可稳定连续生成 30 分钟,场景和主体外观保持一致。

为什么重要 把“世界怎么动”和“画面长什么样”拆开,镜头和运动可精确指定;作者称能连续生成半小时不漂移

点赞 14 · 代码星数 132

理由

  • README 称在 140 条留出轨迹上四个评判维度都排第一,总 Elo 1343.2,对比 SolarRenderer(因果版)1245.3
  • 粗细代理可在运行时选择:给细几何就遵守细约束,只给粗框也能补出合理的局部运动;演示含手柄实时驾驶和同一场景两条镜头路线的对比
  • 权重 inclusionAI/invoker-render-1.0 已放出(基于 MiniMax-H3 的因果流式 DiT,约 33B 参数),附 WebSocket 会话服务、文件客户端和浏览器客户端

用法

  • 代码:https://github.com/inclusionAI/CodeWorldModel;权重:https://huggingface.co/inclusionAI/invoker-render-1.0(FP32 约 132.5 GB,不含 VAE、Qwen、因果解码器等配套文件,要另行准备)
  • 按 docs/INFERENCE.md 配环境后:invoker_render.py prepare 生成推理包,serve 起服务,infer 传入 1344×768 首帧、24 FPS 代理视频(帧数为 17N+5、至少 39 帧)和提示词,输出 video.mp4

风险

  • 默认 production 配置要单机 8 张 GPU;30 分钟演示用了默认服务没开启的参考引导画质策略
  • 许可为 Apache-2.0 加 CC BY-NC 4.0(非商用)条款;训练方法和数据尚未公开。本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态