PAN 2:テキストベースのアクションに基づいて結果動画を推論する世界モデル

ムハンマド・ビン・ザイド人工知能大学(MBZUAI)基礎モデル研究所(IFM)が公開した汎用世界モデル:現在の観察(画像1枚とテキストの組み合わせも可)とテキストで記述されたアクションを入力として受け取り、アクションの結果をシミュレーションし、最長 20 秒の動画を出力します。このモデルは2層構造になっています。大規模言語モデルが「概念推論」を担当し、シーンとアクションをタイムスタンプ付きの構造化記述(イベント、実行者、カメラワーク)に変換します。一方、ゼロから学習された 290 億パラメータの MMDiT が「知覚推論」を担当し、この記述に基づいて動画の潜在変数を生成し、Wan 2.2 VAE によってデコードされます。単一のチェックポイントでテキストから動画への生成と画像から動画への生成の両方をサポートし、出力は 704×1248、24 fps で、デフォルトでは 50 ステップ、CFG 2.5、約 10 秒です。

原題:IFM/PAN2

ムハンマド・ビン・ザイド人工知能大学(MBZUAI)基礎モデル研究所(IFM)が公開した汎用世界モデル:現在の観察(画像1枚とテキストの組み合わせも可)とテキストで記述されたアクションを入力として受け取り、アクションの結果をシミュレーションし、最長 20 秒の動画を出力します。このモデルは2層構造になっています。大規模言語モデルが「概念推論」を担当し、シーンとアクションをタイムスタンプ付きの構造化記述(イベント、実行者、カメラワーク)に変換します。一方、ゼロから学習された 290 億パラメータの MMDiT が「知覚推論」を担当し、この記述に基づいて動画の潜在変数を生成し、Wan 2.2 VAE によってデコードされます。単一のチェックポイントでテキストから動画への生成と画像から動画への生成の両方をサポートし、出力は 704×1248、24 fps で、デフォルトでは 50 ステップ、CFG 2.5、約 10 秒です。

なぜ重要か エージェントが行動を起こす前に、各候補案の結果をシミュレーションして最善のものを選べるようにします。重みは Apache ライセンスで提供され、diffusers と vLLM の両方でサポートされています

上昇スコア 70 · いいね 70 · ダウンロード数 10

理由

  • 用途は「シミュレーションベースの推論」です:エージェントやロボットは、まずこれを使って各候補案を一度シミュレーションし、その結果に基づいて案を選択できます。モデルカードには教育や創作などの動画生成用途も記載されています
  • プロンプトの書き換えには既存のツールがあります:公式は Codex / Claude Code 向けの「概念推論」スキルとローカル書き換えスクリプトを提供しており、自由記述テキストをモデルが要求する構造化記述に変換します
  • デプロイパス:リポジトリには generate.py とマルチGPUスクリプトが含まれており、diffusers と vLLM もサポートされています。公式はさらに pan2-guardrail セーフティフィルタを提供しており、生成の前後でそれぞれ審査を行います

使い方

  • hf download IFM/PAN2 --include "transformer/*" を実行し、scripts/convert_checkpoint.py to-native で一度変換します。また、Qwen/Qwen3.5-9B(テキストエンコーダ)と Wan-AI/Wan2.2-TI2V-5B-Diffusers(VAE)をダウンロードします
  • bash inference/inference.sh <チェックポイントパス> <出力ディレクトリ> [プロンプト JSON] を実行します。image_path を含む項目は画像から動画への生成として処理され、長さ、ステップ数、CFG は VIDEO_LENGTH、NUM_STEPS、GUIDANCE_SCALE などの環境変数で変更できます
  • 自由記述のプロンプトは、まず公式の pan-prompt-rewriter スキルまたは inference/prompts_rewritter.py を使用して構造化記述に書き換えてから生成します

リスク

  • 各GPUカードには完全な 290 億パラメータの拡散モデルを収める必要があり、公式環境では CUDA 13 と flash-attn 4 プレビュー版を使用するため、ハードルが高いです
  • 公式の説明によると、長い計画は失敗することが多いです:シミュレーション計画の約3分の2で少なくとも1つのステップが実行されません。プロンプトの表現に敏感であり、クリップ間での外観がドリフトし、物理的制約を無視することがあります
  • 本物と区別がつかない動画を生成できるため、公式はAI生成であることを明示し、guardrail と併用することを要求しています。guardrail も正常なリクエストの一部を誤ってブロックする場合があります
  • 評価結果は公式技術レポートによるものです。本項目は実行されておらず、効果はモデルカードを基準としてください

開く

Hugging Face Trending

最新の AI ニュースを見る