原題:Video-Coder: Reinforcing Agentic Coding for Video Generation
動画生成モデルの画質はすでに高いが、正確な空間構造、動き、シーンレイアウトの制御は依然として難しい。Video-CoderはQwen3.5-9B上でコーディングエージェントを訓練し、Blender Pythonプログラムを自ら作成・実行して動的な3Dシーンを構築する。レンダリングされた「下書き動画」は構造と動きの信号として下流の動画生成モデルに渡される(READMEではMiniMax-H3を使用)。訓練はまずSFTを行い、次に独自に構築した実行環境で強化学習を実施し、報酬はコードの実行可否と最終的な動画品質の両方を考慮する。著者によると、MiniMax-H3と組み合わせることで、PhyGenBenchの平均スコアが0.61から0.67に向上し、VBench-2.0は54.58%から78.19%に向上した。
なぜ重要か 物体の配置、動き、カメラワークは実行可能なコードによって決定されるため、生成動画の空間構造をより制御しやすくなる。モデル、データ、訓練コードはすべて公開されている
いいね 16 · コードのスター数 25
理由
- 制御可能な動画生成向け:物体の位置、動きの軌跡、カメラワークは実行可能な3Dシーンによって決定されるため、空間関係に対する要求が厳しいカットに適している
- モデル(Video-Coder-9BおよびSFT版)、訓練データ、完全なSFT+強化学習の訓練コードがすべてオープンソース化されている
- 下流の動画生成モデルと評価モデルは交換可能であり、READMEには報酬設定を変更するだけで他の生成器に切り替えられることが記載されている
使い方
- コード:https://github.com/CYWang735/Video-Coder;权重:抱脸 Video-Coder/Video-Coder-9B(他にVideo-Coder-SFT-9Bあり)、データセット Video-Coder/Train-Data
- 推論は2段階で行う:まずApptainerサンドボックス内でrun_inference.shを使用してBlenderの下書き動画を生成し(レンダリングスクリプトmain.pyも同時に保存)、その後MiniMax-H3サービスディレクトリ内のrun_batch.shを使用して下書きを完成動画に変換する
リスク
- 依存関係が重い:Blenderサンドボックスと個別にデプロイされた動画生成モデルが必要。著者の強化学習訓練には8枚のH100GPUを使用し、さらに各MiniMax-H3サービスに4枚のGPUを追加している
- 強化学習段階での動画報酬は、Alibaba Cloud DashScope上のVLM評価を呼び出しており、訓練の再現にはこのサービスのAPIキーが必要である
- スコアは著者が2つのベンチマークで自己申告した結果であり、本項目では実行していない
開く · コード · 抱きしめたい論文ページ