Video-Coder:先写 Blender 代码搭 3D 草稿,再生成视频

视频生成模型画面质量已经很高,但精确的空间结构、运动和场景布局仍难控制。Video-Coder 在 Qwen3.5-9B 上训练一个编码智能体,自己写并执行 Blender Python 程序搭建动态 3D 场景,渲染出的“草稿视频”作为结构和运动信号交给下游视频生成模型(README 用 MiniMax-H3);训练先做 SFT,再在自建执行环境里做强化学习,奖励同时看代码能否执行和最终视频质量。作者称搭配 MiniMax-H3 后,PhyGenBench 平均分从 0.61 提到 0.67,VBench-2.0 从 54.58% 提到 78.19%。

原题:Video-Coder: Reinforcing Agentic Coding for Video Generation

视频生成模型画面质量已经很高,但精确的空间结构、运动和场景布局仍难控制。Video-Coder 在 Qwen3.5-9B 上训练一个编码智能体,自己写并执行 Blender Python 程序搭建动态 3D 场景,渲染出的“草稿视频”作为结构和运动信号交给下游视频生成模型(README 用 MiniMax-H3);训练先做 SFT,再在自建执行环境里做强化学习,奖励同时看代码能否执行和最终视频质量。作者称搭配 MiniMax-H3 后,PhyGenBench 平均分从 0.61 提到 0.67,VBench-2.0 从 54.58% 提到 78.19%。

为什么重要 物体布局、运动和镜头由可执行代码决定,生成视频的空间结构更可控;模型、数据和训练代码都已公开

点赞 16 · 代码星数 25

理由

  • 面向可控视频生成:物体位置、运动轨迹和镜头由可执行的 3D 场景决定,适合对空间关系要求严格的镜头
  • 模型(Video-Coder-9B 及 SFT 版)、训练数据和完整的 SFT + 强化学习训练代码都已开源
  • 下游视频生成模型和评审模型可替换,README 说明改奖励配置即可换用其他生成器

用法

  • 代码:https://github.com/CYWang735/Video-Coder;权重:抱脸 Video-Coder/Video-Coder-9B(另有 Video-Coder-SFT-9B),数据集 Video-Coder/Train-Data
  • 推理分两步:先在 Apptainer 沙箱里用 run_inference.sh 生成 Blender 草稿视频(同时保存渲染脚本 main.py),再用 MiniMax-H3 服务目录里的 run_batch.sh 把草稿转成成片

风险

  • 依赖重:需要 Blender 沙箱和单独部署的视频生成模型,作者的强化学习训练用了 8 张 H100,另加每个 MiniMax-H3 服务 4 张卡
  • 强化学习阶段的视频奖励调用阿里云 DashScope 上的 VLM 评审,复现训练需要该服务的 API Key
  • 分数为作者在两个基准上的自报结果,本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态