PAN2

PAN 2 — это открытая универсальная модель мира от Института фундаментальных моделей (IFM) при MBZUAI: на вход подаются текущее изображение (опционально одна картинка) и текстовое описание действия, а на выходе получается видео длительностью до 20 секунд (разрешение 704×1248, частота кадров 24 fps). Языковая модель сначала преобразует наблюдения и действия в структурированное описание с временной шкалой, после чего обученная с нуля MMDiT-модель с 290 млрд параметров генерирует видео. В качестве текстового кодировщика используется Qwen3.5-9B, а в качестве VAE — Wan 2.2. Репозиторий Comfy-Org содержит файлы, переупакованные для ComfyUI; диффузионная модель доступна в двух форматах точности: BF16 и INT8.

PAN 2 — это открытая универсальная модель мира от Института фундаментальных моделей (IFM) при MBZUAI: на вход подаются текущее изображение (опционально одна картинка) и текстовое описание действия, а на выходе получается видео длительностью до 20 секунд (разрешение 704×1248, частота кадров 24 fps). Языковая модель сначала преобразует наблюдения и действия в структурированное описание с временной шкалой, после чего обученная с нуля MMDiT-модель с 290 млрд параметров генерирует видео. В качестве текстового кодировщика используется Qwen3.5-9B, а в качестве VAE — Wan 2.2. Репозиторий Comfy-Org содержит файлы, переупакованные для ComfyUI; диффузионная модель доступна в двух форматах точности: BF16 и INT8.

Почему это важно Сначала большая языковая модель преобразует действия в структурированное состояние мира, а затем диффузионная модель визуализирует его. Это позволяет агентам сначала симулировать, а потом действовать; уже существуют готовые пакеты для ComfyUI.

Лайки «обнимашки» 14 · Рост рейтинга «обнимашек» 14 · Загрузки «обнимашек» 0

Лицензия: разрешено коммерческое использование · ComfyUI: официальная упаковка · Видеопамять: ≈106 ГБ (оценка)

Причины

  • Официальная лицензия Apache-2.0; в карточке модели подробно описаны архитектура, параметры сэмплирования по умолчанию, известные ограничения и механизмы безопасности.
  • Официально поддерживаются как Diffusers, так и vLLM; репозиторий Comfy-Org содержит инструкции по размещению файлов для ComfyUI.

Использование

  • ComfyUI: скачайте из Comfy-Org/PAN2 файлы pan2_int8_convrot (или pan2_bf16), qwen3.5_9b_int8_convrot и wan2.2_vae, затем поместите их в каталоги models/diffusion_models, models/text_encoders и models/vae соответственно.
  • Официальный скрипт: выполните команду hf download IFM/PAN2, преобразуйте веса согласно карточке модели и сгенерируйте результат с помощью inference/inference.sh. Промпты рекомендуется предварительно структурировать с использованием официального навыка переписывания промптов.

Риски

  • Официальный скрипт загружает полную диффузионную модель с 290 млрд параметров для каждого процесса; оценка потребления памяти в 44B / примерно 106 ГБ, основанная на файлах репозитория, может отличаться от официальных данных. Ориентируйтесь на официальную информацию; для потребительских видеокарт рекомендуется использовать версию INT8.
  • По официальным данным, примерно в двух третях многошаговых планов хотя бы один шаг не выполняется, а результат чувствителен к формулировкам промпта. Рекомендуется использовать вместе с официальным фильтром контента pan2-guardrail.

Открыть

抱脸 text-to-video 上升榜第 3

Открыть последние новости ИИ