invoker-render-1.0

Invoker-Render 是 Code World Model 2.0(蚂蚁集团 inclusionAI、西湖大学、浙江大学)的渲染器:输入一段结构代理视频(语义图、稀疏 3D 框、主体遮罩、着色几何或带骨架的框)、一张外观参考图和文字,按每块 4 步的因果流式方式生成视频,每块只看固定的外观锚点和有限的近期历史。权重是 33.12B 参数的 FP32 主模型(约 132.5 GB),沿用 MiniMax-H3 架构,推理代码基于 SGLang 和 SGLang-Omni,带 WebSocket 会话服务和浏览器客户端。

Invoker-Render 是 Code World Model 2.0(蚂蚁集团 inclusionAI、西湖大学、浙江大学)的渲染器:输入一段结构代理视频(语义图、稀疏 3D 框、主体遮罩、着色几何或带骨架的框)、一张外观参考图和文字,按每块 4 步的因果流式方式生成视频,每块只看固定的外观锚点和有限的近期历史。权重是 33.12B 参数的 FP32 主模型(约 132.5 GB),沿用 MiniMax-H3 架构,推理代码基于 SGLang 和 SGLang-Omni,带 WebSocket 会话服务和浏览器客户端。

为什么重要 相机、布局和物体运动由上游引擎的线框或语义图固定,模型只画材质和光照,能一直流式生成,作者演示了连续半小时的赛车画面。

抱脸点赞 8 · 抱脸上升分 8 · 抱脸下载 1989

许可证:非商用 · ComfyUI:暂无 · 显存:≈80 GB 估算

理由

  • 附论文、项目页、推理代码和抱脸在线演示
  • 作者称在 140 段留出测试上四项人工评判都排第一

用法

  • 按 github.com/inclusionAI/CodeWorldModel 的 README 和 docs/INFERENCE.md 准备环境和推理包,输入 1344×768 首帧图、24 FPS 代理视频和文字,运行 invoker_render.py 做文件推理或启动会话服务

风险

  • 默认 production 配置要单机 8 张 NVIDIA 显卡;仓库不含 VAE、Qwen、因果解码器等,要另外准备
  • 许可为 Apache-2.0 加 CC BY-NC 4.0,按非商用处理;训练方法和数据尚未公开

打开

抱脸 world-model 标签

浏览最新 AI 动态