原题:Video-Coder: Reinforcing Agentic Coding for Video Generation
视频生成模型画面质量已经很高,但精确的空间结构、运动和场景布局仍难控制。Video-Coder 在 Qwen3.5-9B 上训练一个编码智能体,自己写并执行 Blender Python 程序搭建动态 3D 场景,渲染出的“草稿视频”作为结构和运动信号交给下游视频生成模型(README 用 MiniMax-H3);训练先做 SFT,再在自建执行环境里做强化学习,奖励同时看代码能否执行和最终视频质量。作者称搭配 MiniMax-H3 后,PhyGenBench 平均分从 0.61 提到 0.67,VBench-2.0 从 54.58% 提到 78.19%。
为什么重要 物体布局、运动和镜头由可执行代码决定,生成视频的空间结构更可控;模型、数据和训练代码都已公开
点赞 16 · 代码星数 25
理由
- 面向可控视频生成:物体位置、运动轨迹和镜头由可执行的 3D 场景决定,适合对空间关系要求严格的镜头
- 模型(Video-Coder-9B 及 SFT 版)、训练数据和完整的 SFT + 强化学习训练代码都已开源
- 下游视频生成模型和评审模型可替换,README 说明改奖励配置即可换用其他生成器
用法
- 代码:https://github.com/CYWang735/Video-Coder;权重:抱脸 Video-Coder/Video-Coder-9B(另有 Video-Coder-SFT-9B),数据集 Video-Coder/Train-Data
- 推理分两步:先在 Apptainer 沙箱里用 run_inference.sh 生成 Blender 草稿视频(同时保存渲染脚本 main.py),再用 MiniMax-H3 服务目录里的 run_batch.sh 把草稿转成成片
风险
- 依赖重:需要 Blender 沙箱和单独部署的视频生成模型,作者的强化学习训练用了 8 张 H100,另加每个 MiniMax-H3 服务 4 张卡
- 强化学习阶段的视频奖励调用阿里云 DashScope 上的 VLM 评审,复现训练需要该服务的 API Key
- 分数为作者在两个基准上的自报结果,本条未运行