原题:IFM/PAN2
穆罕默德·本·扎耶德人工智能大学(MBZUAI)基础模型研究院(IFM)发布的通用世界模型:给定当前观察(可选一张图加文字)和用文字描述的动作,模拟出动作结果,输出最长 20 秒的视频。它分两层:大语言模型做“概念推理”,把场景和动作写成带时间戳的结构化描述(事件、执行者、镜头运动);290 亿参数、从零训练的 MMDiT 做“感知推理”,按这份描述生成视频潜变量,再由 Wan 2.2 VAE 解码。一个检查点同时支持文生视频和图生视频,输出 704×1248、24 fps,默认 50 步、CFG 2.5、约 10 秒。
为什么重要 让智能体在行动前先模拟每个候选方案的结果再挑最好的,权重 Apache 许可,diffusers 和 vLLM 都已支持
上升分 70 · 点赞 70 · 下载量 10
理由
- 用途是“模拟式推理”:智能体或机器人可以先用它把每个候选方案演一遍,再按模拟结果选方案;模型卡也列了教育、创作等视频生成用途
- 提示词改写有现成工具:官方提供给 Codex / Claude Code 用的“概念推理”技能和本地改写脚本,把自由文本改成模型要的结构化描述
- 部署路径:仓库自带 generate.py 和多卡脚本,也支持 diffusers 和 vLLM;官方另提供 pan2-guardrail 安全过滤,在生成前后各审一次
用法
- hf download IFM/PAN2 --include "transformer/*",用 scripts/convert_checkpoint.py to-native 转换一次;另下载 Qwen/Qwen3.5-9B(文本编码器)和 Wan-AI/Wan2.2-TI2V-5B-Diffusers(VAE)
- bash inference/inference.sh <检查点路径> <输出目录> [提示词 JSON];带 image_path 的条目按图生视频处理,时长、步数、CFG 用 VIDEO_LENGTH、NUM_STEPS、GUIDANCE_SCALE 等环境变量改
- 自由文本提示先用官方 pan-prompt-rewriter 技能或 inference/prompts_rewritter.py 改写成结构化描述再生成
风险
- 每张卡要装下完整的 290 亿参数扩散模型,官方环境用 CUDA 13 和 flash-attn 4 预览版,门槛高
- 官方说明长计划常失败:约三分之二的模拟计划至少有一步没做出来;对提示词措辞敏感,跨片段外观会漂移,有时会跳过物理约束
- 能生成以假乱真的视频,官方要求标明 AI 生成并配合 guardrail 使用;guardrail 也会误拦一部分正常请求
- 评测成绩为官方技术报告结果;本条未运行,效果以模型卡为准