PAN2

PAN 2 是 MBZUAI 基础模型研究院(IFM)开源的通用世界模型:输入当前画面(可选一张图)和用文字描述的动作,输出最长 20 秒的结果视频(704×1248、24 fps)。语言模型先把观察和动作写成带时间线的结构化描述,再由从零训练的 290 亿参数 MMDiT 生成视频,文本编码器用 Qwen3.5-9B、VAE 用 Wan 2.2。Comfy-Org 这个仓库是给 ComfyUI 重新打包的文件,扩散模型有 BF16 和 INT8 两种精度。

PAN 2 是 MBZUAI 基础模型研究院(IFM)开源的通用世界模型:输入当前画面(可选一张图)和用文字描述的动作,输出最长 20 秒的结果视频(704×1248、24 fps)。语言模型先把观察和动作写成带时间线的结构化描述,再由从零训练的 290 亿参数 MMDiT 生成视频,文本编码器用 Qwen3.5-9B、VAE 用 Wan 2.2。Comfy-Org 这个仓库是给 ComfyUI 重新打包的文件,扩散模型有 BF16 和 INT8 两种精度。

为什么重要 先由大模型把动作写成结构化的世界状态,再由扩散模型画出来,可让智能体先模拟再行动;已有 ComfyUI 打包文件。

抱脸点赞 14 · 抱脸上升分 14 · 抱脸下载 0

许可证:可商用 · ComfyUI:官方打包 · 显存:≈106 GB 估算

理由

  • 官方 Apache-2.0 许可;模型卡写清了架构、默认采样参数、已知局限和安全护栏
  • 官方同时支持 Diffusers 和 vLLM,Comfy-Org 给出了 ComfyUI 各文件的放置目录

用法

  • ComfyUI:从 Comfy-Org/PAN2 下载 pan2_int8_convrot(或 pan2_bf16)、qwen3.5_9b_int8_convrot、wan2.2_vae,分别放进 models 下的 diffusion_models、text_encoders、vae 目录
  • 官方脚本:hf download IFM/PAN2 后按模型卡转换权重,用 inference/inference.sh 生成;提示词最好先用官方的提示词改写技能整理成结构化描述

风险

  • 官方脚本每个进程都加载完整的 290 亿参数扩散模型;程序按仓库文件估算的 44B / 约 106 GB 与官方口径不同,以官方为准,消费级显卡建议用 INT8 版
  • 官方称约三分之二的多步计划至少有一步没被执行,且对提示词措辞敏感;建议配合官方的 pan2-guardrail 内容过滤一起用

打开

抱脸 text-to-video 上升榜第 3

浏览最新 AI 动态