PAN 2 — это открытая универсальная модель мира от Института фундаментальных моделей (IFM) при MBZUAI: на вход подаются текущее изображение (опционально одна картинка) и текстовое описание действия, а на выходе получается видео длительностью до 20 секунд (разрешение 704×1248, частота кадров 24 fps). Языковая модель сначала преобразует наблюдения и действия в структурированное описание с временной шкалой, после чего обученная с нуля MMDiT-модель с 290 млрд параметров генерирует видео. В качестве текстового кодировщика используется Qwen3.5-9B, а в качестве VAE — Wan 2.2. Репозиторий Comfy-Org содержит файлы, переупакованные для ComfyUI; диффузионная модель доступна в двух форматах точности: BF16 и INT8.
Почему это важно Сначала большая языковая модель преобразует действия в структурированное состояние мира, а затем диффузионная модель визуализирует его. Это позволяет агентам сначала симулировать, а потом действовать; уже существуют готовые пакеты для ComfyUI.
Лайки «обнимашки» 14 · Рост рейтинга «обнимашек» 14 · Загрузки «обнимашек» 0
Лицензия: разрешено коммерческое использование · ComfyUI: официальная упаковка · Видеопамять: ≈106 ГБ (оценка)
Причины
- Официальная лицензия Apache-2.0; в карточке модели подробно описаны архитектура, параметры сэмплирования по умолчанию, известные ограничения и механизмы безопасности.
- Официально поддерживаются как Diffusers, так и vLLM; репозиторий Comfy-Org содержит инструкции по размещению файлов для ComfyUI.
Использование
- ComfyUI: скачайте из Comfy-Org/PAN2 файлы pan2_int8_convrot (или pan2_bf16), qwen3.5_9b_int8_convrot и wan2.2_vae, затем поместите их в каталоги models/diffusion_models, models/text_encoders и models/vae соответственно.
- Официальный скрипт: выполните команду hf download IFM/PAN2, преобразуйте веса согласно карточке модели и сгенерируйте результат с помощью inference/inference.sh. Промпты рекомендуется предварительно структурировать с использованием официального навыка переписывания промптов.
Риски
- Официальный скрипт загружает полную диффузионную модель с 290 млрд параметров для каждого процесса; оценка потребления памяти в 44B / примерно 106 ГБ, основанная на файлах репозитория, может отличаться от официальных данных. Ориентируйтесь на официальную информацию; для потребительских видеокарт рекомендуется использовать версию INT8.
- По официальным данным, примерно в двух третях многошаговых планов хотя бы один шаг не выполняется, а результат чувствителен к формулировкам промпта. Рекомендуется использовать вместе с официальным фильтром контента pan2-guardrail.