Invoker-Render は、Code World Model 2.0(アリババグループ inclusionAI、西湖大学、浙江大学)のレンダラーです。入力として、構造プロキシ動画(セマンティックマップ、スパースな 3D バウンディングボックス、被写体マスク、着色ジオメトリ、またはスケルトン付きボックス)、外観参照画像、テキストを受け取り、各チャンク 4 ステップの因果的ストリーミング方式で動画を生成します。各チャンクでは、固定された外観アンカーと限られた直近の履歴のみを参照します。重みは 33.12B パラメータの FP32 メインモデル(約 132.5 GB)で、MiniMax-H3 アーキテクチャを引き継いでいます。推論コードは SGLang と SGLang-Omni をベースにしており、WebSocket セッションサービスとブラウザクライアントを備えています。
なぜ重要か カメラ、レイアウト、物体の動きは上流エンジンによってワイヤーフレームやセマンティックマップで固定されており、モデルはマテリアルとライティングのみを描画します。これにより連続的なストリーミング生成が可能で、作者は30分間の連続したレース映像をデモしました。
Hugging Face いいね数 8 · Hugging Face 上昇スコア 8 · Hugging Face ダウンロード数 1989
ライセンス:非商用 · ComfyUI:未対応 · VRAM:約 80 GB(推定)
理由
- 論文、プロジェクトページ、推論コード、Hugging Face オンラインデモが添付されています
- 作者によれば、140 個のテストセットにおいて、4項目の人間評価でいずれも第1位を獲得したとされています
使い方
- github.com/inclusionAI/CodeWorldModel の README および docs/INFERENCE.md に従って環境と推論パッケージを準備し、1344×768 の初期フレーム画像、24 FPS のプロキシ動画、テキストを入力します。ファイルベースの推論には invoker_render.py を実行するか、セッションサービスを起動します
リスク
- デフォルトの production 設定では、単一のマシンに 8 枚の NVIDIA GPU が必要です。リポジトリには VAE、Qwen、因果デコーダーなどが含まれていないため、別途準備する必要があります
- ライセンスは Apache-2.0 に加えて CC BY-NC 4.0 であり、非商用として扱われます。学習手法とデータはまだ公開されていません