PAN2

PAN 2 は、MBZUAI 基礎モデル研究所(IFM)がオープンソースで公開した汎用世界モデルです。現在の画面(画像1枚をオプションで入力可能)とテキストで記述されたアクションを入力として受け取り、最大 20 秒の結果動画を出力します(解像度 704×1248、フレームレート 24 fps)。言語モデルがまず観察内容とアクションをタイムライン付きの構造化記述に変換し、その後、ゼロから訓練されたパラメータ数 290 億の MMDiT が動画を生成します。テキストエンコーダーには Qwen3.5-9B、VAE には Wan 2.2 を使用しています。Comfy-Org のこのリポジトリは ComfyUI 向けに再パッケージ化されたファイルであり、拡散モデルには BF16 と INT8 の2種類の精度が用意されています。

PAN 2 は、MBZUAI 基礎モデル研究所(IFM)がオープンソースで公開した汎用世界モデルです。現在の画面(画像1枚をオプションで入力可能)とテキストで記述されたアクションを入力として受け取り、最大 20 秒の結果動画を出力します(解像度 704×1248、フレームレート 24 fps)。言語モデルがまず観察内容とアクションをタイムライン付きの構造化記述に変換し、その後、ゼロから訓練されたパラメータ数 290 億の MMDiT が動画を生成します。テキストエンコーダーには Qwen3.5-9B、VAE には Wan 2.2 を使用しています。Comfy-Org のこのリポジトリは ComfyUI 向けに再パッケージ化されたファイルであり、拡散モデルには BF16 と INT8 の2種類の精度が用意されています。

なぜ重要か まず大規模言語モデルがアクションを構造化された世界状態として記述し、次に拡散モデルがそれを描画することで、エージェントは行動する前にシミュレーションを行うことができます。すでに ComfyUI 向けの打包ファイルが存在します。

抱きつきいいね 14 · 抱きつき上昇スコア 14 · 抱きつきダウンロード数 0

ライセンス:商用利用可 · ComfyUI:公式打包 · VRAM:約 106 GB(推定)

理由

  • 公式の Apache-2.0 ライセンス。モデルカードにはアーキテクチャ、デフォルトのサンプリングパラメータ、既知の制限事項、および安全上のガードレールが明記されています。
  • 公式は Diffusers と vLLM の両方をサポートしており、Comfy-Org は ComfyUI の各ファイルの配置ディレクトリを提供しています。

使い方

  • ComfyUI:Comfy-Org/PAN2 から pan2_int8_convrot(または pan2_bf16)、qwen3.5_9b_int8_convrot、wan2.2_vae をダウンロードし、それぞれ models ディレクトリ内の diffusion_models、text_encoders、vae サブディレクトリに配置します。
  • 公式スクリプト:hf download IFM/PAN2 でモデルをダウンロードした後、モデルカードに従って重みを変換し、inference/inference.sh を使用して生成します。プロンプトは事前に公式のプロンプト書き換えスキルを用いて構造化記述に整理しておくことを推奨します。

リスク

  • 公式スクリプトでは、各プロセスがパラメータ数 290 億の完全な拡散モデルを読み込みます。リポジトリのファイルから推定された 44B / 約 106 GB という値は公式の基準とは異なるため、公式の情報を優先してください。コンシューマー向けGPUでは INT8 バージョンの使用を推奨します。
  • 公式によれば、多段階計画の約3分の2で少なくとも1つのステップが実行されず、プロンプトの表現に敏感です。公式の pan2-guardrail コンテンツフィルタと併用することを推奨します。

開く

抱脸 text-to-video 上升榜第 3

最新の AI ニュースを見る