PrimeSim

PrimeSim は、Wan2.2-TI2V-5B をベースにした動作条件付きマルチビュー世界モデルです。各カメラ視点の最初のフレーム、プロンプト、および動作軌跡を入力として受け取り、その後に発生する映像を生成します。著者によると、22 種類のロボットプラットフォームをカバーする 30,110 時間のデータで訓練されており、シミュレーション評価 WorldSimProbe の5項目中4項目でリードし、EWMBench では総合スコアが最高でした。微調整用の中間訓練ベース重みと、第4段階の因果的少ステップ推論重みが提供されています。推論時には3つの視点が 192×256 で同時に生成され、著者によると 10 FPS を超えます。

PrimeSim は、Wan2.2-TI2V-5B をベースにした動作条件付きマルチビュー世界モデルです。各カメラ視点の最初のフレーム、プロンプト、および動作軌跡を入力として受け取り、その後に発生する映像を生成します。著者によると、22 種類のロボットプラットフォームをカバーする 30,110 時間のデータで訓練されており、シミュレーション評価 WorldSimProbe の5項目中4項目でリードし、EWMBench では総合スコアが最高でした。微調整用の中間訓練ベース重みと、第4段階の因果的少ステップ推論重みが提供されています。推論時には3つの視点が 192×256 で同時に生成され、著者によると 10 FPS を超えます。

なぜ重要か 物理シミュレーションの代わりに生成ビデオを用いてロボット操作を事前検証し、3つのカメラ視点を同時に生成します。重みは商用利用可能です。

ハグによるいいね 2 · ハグによる上昇スコア 2 · ハグによるダウンロード数 201

ライセンス:商用利用可 · ComfyUI:未対応 · VRAM:24 GB

理由

  • Apache-2.0 ライセンスで、論文、プロジェクトページ、推論および訓練コードがすべて公開されています

使い方

  • Wan2.2-TI2V-5B からテキストエンコーダー、VAE、トークナイザーをダウンロードし、GitHub リポジトリに従ってパスを設定した後、primesim_posttrain_g2 でサンプルを実行します

リスク

  • A100 または H100 80GB が推奨されます。5B のバックボーンと 11 GB のテキストエンコーダーを同時にメモリに保持する必要があるため、24 GB の GPU では容量が不足します
  • 訓練データは非公開です。評価数値は著者による自己申告です

開く

抱脸 world-model 标签

最新の AI ニュースを見る