Titre original : IFM/PAN2
Modèle du monde généraliste publié par l'Institut des Fondations de Modèles (IFM) de l'Université Mohammed bin Zayed pour l'Intelligence Artificielle (MBZUAI) : étant donné une observation actuelle (facultativement une image accompagnée d'un texte) et une action décrite en texte, il simule le résultat de l'action et génère une vidéo d'une durée maximale de 20 secondes. Il se compose de deux couches : un grand modèle de langage effectue le « raisonnement conceptuel », transformant la scène et l'action en une description structurée horodatée (événements, acteurs, mouvements de caméra) ; un MMDiT de 290 milliards de paramètres, entraîné de zéro, effectue le « raisonnement perceptif », générant des variables latentes vidéo selon cette description, qui sont ensuite décodées par le VAE Wan 2.2. Un seul point de contrôle prend en charge à la fois la génération vidéo à partir de texte et à partir d'image, avec une sortie de 704×1248, 24 fps, par défaut 50 étapes, CFG 2.5, environ 10 secondes.
Pourquoi c'est important Permet aux agents de simuler le résultat de chaque solution candidate avant d'agir et de choisir la meilleure ; poids sous licence Apache, supporté par diffusers et vLLM
Score de montée 70 · J'aime 70 · Téléchargements 10
Raisons
- L'objectif est le « raisonnement par simulation » : les agents ou robots peuvent l'utiliser pour simuler chaque solution candidate, puis choisir en fonction des résultats simulés ; la fiche du modèle liste également des usages de génération vidéo pour l'éducation, la création, etc.
- Des outils prêts à l'emploi existent pour la réécriture des prompts : l'éditeur fournit officiellement une compétence de « raisonnement conceptuel » pour Codex / Claude Code et un script de réécriture local, transformant le texte libre en la description structurée attendue par le modèle
- Voies de déploiement : le dépôt inclut generate.py et des scripts multi-GPU, et prend en charge diffusers et vLLM ; l'éditeur fournit également un filtre de sécurité pan2-guardrail, effectuant une vérification avant et après la génération
Utilisation
- hf download IFM/PAN2 --include "transformer/*", puis convertir une fois via scripts/convert_checkpoint.py to-native ; téléchargez également Qwen/Qwen3.5-9B (encodeur de texte) et Wan-AI/Wan2.2-TI2V-5B-Diffusers (VAE)
- bash inference/inference.sh <chemin du point de contrôle> <répertoire de sortie> [JSON du prompt] ; les entrées contenant image_path sont traitées comme de la génération vidéo à partir d'image, la durée, le nombre d'étapes et le CFG se modifient via les variables d'environnement VIDEO_LENGTH, NUM_STEPS, GUIDANCE_SCALE, etc.
- Pour les prompts en texte libre, utilisez d'abord la compétence officielle pan-prompt-rewriter ou inference/prompts_rewritter.py pour les transformer en description structurée avant la génération
Risques
- Chaque carte graphique doit contenir le modèle de diffusion complet de 290 milliards de paramètres ; l'environnement officiel utilise CUDA 13 et une version préliminaire de flash-attn 4, ce qui représente une barrière élevée
- La documentation officielle indique que les plans longs échouent souvent : environ deux tiers des plans simulés ont au moins une étape non réalisée ; le modèle est sensible à la formulation des prompts, l'apparence dérive entre les segments, et il ignore parfois les contraintes physiques
- Il peut générer des vidéos très réalistes ; l'éditeur exige d'indiquer qu'elles sont générées par IA et d'utiliser le guardrail ; le guardrail bloque également certains requêtes légitimes
- Les résultats d'évaluation proviennent du rapport technique officiel ; cette entrée n'a pas été exécutée, les performances sont à confirmer selon la fiche du modèle