PAN 2 est un modèle de monde généraliste open source développé par l'Institut des modèles fondamentaux (IFM) de MBZUAI : il prend en entrée une image actuelle (une seule image optionnelle) et une action décrite textuellement, puis génère une vidéo d'une durée maximale de 20 secondes (résolution 704×1248, cadence de 24 fps). Un modèle linguistique transforme d'abord les observations et les actions en descriptions structurées avec une ligne temporelle, avant qu'un MMDiT entraîné de zéro, comptant 290 milliards de paramètres, ne génère la vidéo. L'encodeur de texte utilise Qwen3.5-9B et le VAE utilise Wan 2.2. Le dépôt Comfy-Org contient des fichiers reconditionnés pour ComfyUI ; le modèle de diffusion est disponible en deux précisions : BF16 et INT8.
Pourquoi c'est important Le fait que les grands modèles transforment d'abord les actions en états du monde structurés, avant que les modèles de diffusion ne les génèrent visuellement, permet aux agents de simuler avant d'agir ; des fichiers packagés pour ComfyUI sont déjà disponibles.
Réactions « facepalm » 14 · Hausse de score due aux réactions « facepalm » 14 · Téléchargements liés aux réactions « facepalm » 0
Licence : usage commercial autorisé · ComfyUI : packagé officiellement · Mémoire GPU : ≈106 GB (estimation)
Raisons
- Licence Apache-2.0 officielle ; la fiche du modèle détaille l'architecture, les paramètres d'échantillonnage par défaut, les limites connues et les garde-fous de sécurité
- Support officiel simultané pour Diffusers et vLLM ; Comfy-Org fournit les répertoires de destination pour chaque fichier dans ComfyUI
Utilisation
- ComfyUI : téléchargez pan2_int8_convrot (ou pan2_bf16), qwen3.5_9b_int8_convrot et wan2.2_vae depuis Comfy-Org/PAN2, puis placez-les respectivement dans les répertoires diffusion_models, text_encoders et vae sous models
- Script officiel : après avoir exécuté hf download IFM/PAN2, convertissez les poids selon la fiche du modèle et générez des résultats via inference/inference.sh ; il est recommandé de reformuler d'abord les prompts en descriptions structurées à l'aide de la compétence de réécriture de prompts officielle
Risques
- Le script officiel charge le modèle de diffusion complet de 290 milliards de paramètres pour chaque processus ; l'estimation de 44B / environ 106 GB faite par le programme en se basant sur les fichiers du dépôt diffère des chiffres officiels, qui font foi ; la version INT8 est recommandée pour les cartes graphiques grand public
- Selon l'éditeur officiel, au moins une étape n'est pas exécutée dans environ deux tiers des plans multi-étapes, et le modèle est sensible à la formulation des prompts ; il est conseillé d'utiliser conjointement le filtre de contenu pan2-guardrail officiel