Code World Model 2.0:構造ベースの代理によるリアルタイム動画レンダリング

アリバブ・インクルージョンAI、西湖大学、浙江大学の研究。世界の状態は上流エンジンに保持し、「視覚的代理」(セマンティックマップ、疎な3Dバウンディングボックス、被写体マスク、シェーディングされたジオメトリ、スケルトン付きボックスなどの構造化動画)を用いてカメラパス、シーンレイアウト、物体の動きを固定する。その後、動画モデルInvoker-Renderが代理、外観参照画像1枚、テキストに基づいてマテリアルとライティングを生成する。このシステムは双方向オフライン作成モデルと因果的4ステップストリーミングモデルを含み、学習データ量は約200時間である。ステップ圧縮と自己回帰ドリフトの重なりを避けるため、著者は漸進的強制(ProForcing)を提案した。まず因果予測器を訓練し、それを4ステップレンダラーに蒸留した後、連続的な自己生成軌道上で訓練を行う。論文によれば、レーシングシーンでは30分間安定して連続生成が可能であり、シーンと被写体の外観の一貫性が保たれる。

原題:Code World Model 2.0: Towards Infinite Controllable Video Generation

アリバブ・インクルージョンAI、西湖大学、浙江大学の研究。世界の状態は上流エンジンに保持し、「視覚的代理」(セマンティックマップ、疎な3Dバウンディングボックス、被写体マスク、シェーディングされたジオメトリ、スケルトン付きボックスなどの構造化動画)を用いてカメラパス、シーンレイアウト、物体の動きを固定する。その後、動画モデルInvoker-Renderが代理、外観参照画像1枚、テキストに基づいてマテリアルとライティングを生成する。このシステムは双方向オフライン作成モデルと因果的4ステップストリーミングモデルを含み、学習データ量は約200時間である。ステップ圧縮と自己回帰ドリフトの重なりを避けるため、著者は漸進的強制(ProForcing)を提案した。まず因果予測器を訓練し、それを4ステップレンダラーに蒸留した後、連続的な自己生成軌道上で訓練を行う。論文によれば、レーシングシーンでは30分間安定して連続生成が可能であり、シーンと被写体の外観の一貫性が保たれる。

なぜ重要か 「世界がどのように動くか」と「画面がどのような見た目か」を分離することで、カメラと動きを正確に指定できる。著者によれば、30分間の連続生成でもドリフトが発生しないという

いいね 14 · コードスター数 132

理由

  • READMEによると、140件のホールドアウト軌道において4つの評価軸すべてで1位を獲得し、総Eloスコアは1343.2。因果版のSolarRendererとの比較では1245.3
  • 粗い代理と細かい代理をランタイムで選択可能:細かいジオメトリを与えれば細かい制約に従い、粗いボックスのみを与えても妥当な局所的動きを補完できる。デモにはゲームパッドによるリアルタイム運転や、同一シーンでの2つのカメラパスの比較が含まれる
  • 重み inclusionAI/invoker-render-1.0 が公開済み(MiniMax-H3ベースの因果的ストリーミングDiTで、パラメータ数は約33B)。WebSocketセッションサービス、ファイルクライアント、ブラウザクライアントが付属している

使い方

  • コード:https://github.com/inclusionAI/CodeWorldModel;权重:https://huggingface.co/inclusionAI/invoker-render-1.0(FP32 約132.5 GB(VAE、Qwen、因果デコーダーなどの付随ファイルは含まれず、別途準備が必要)
  • docs/INFERENCE.mdに従って環境を構築した後:invoker_render.py prepareで推論パッケージを生成し、serveでサービスを開始する。inferでは1344×768の初期フレーム、24 FPSの代理動画(フレーム数は17N+5、最低39フレーム)、プロンプトを渡すと、video.mp4が出力される

リスク

  • デフォルトのproduction設定では単一マシンで8枚のGPUが必要。30分のデモでは、デフォルトサービスで有効になっていないリファレンスガイド付き高品質戦略を使用している
  • ライセンスはApache-2.0にCC BY-NC 4.0(非商用)条項を加えたもの。学習手法とデータはまだ公開されていない。本項目は実行していない

開く · コード · Hugging Face論文ページ

Hugging Face Daily Papers

最新の AI ニュースを見る