Оригинальное название: IFM/PAN2
Универсальная мировая модель, представленная Институтом фундаментальных моделей (IFM) Университета искусственного интеллекта им. Мухаммеда бен Заида (MBZUAI): принимает текущее наблюдение (необязательно изображение и текст) и текстовое описание действия, моделирует результат действия и выводит видео длительностью до 20 секунд. Модель состоит из двух уровней: большая языковая модель выполняет «концептуальное рассуждение», преобразуя сцену и действия в структурированное описание с временными метками (события, исполнители, движение камеры); MMDiT с 290 млрд параметров, обученный с нуля, выполняет «перцептивное рассуждение», генерируя латентные переменные видео на основе этого описания, которые затем декодируются с помощью VAE Wan 2.2. Одна контрольная точка поддерживает как генерацию видео из текста, так и из изображения, выдавая видео разрешением 704×1248 при 24 кадрах в секунду, по умолчанию используется 50 шагов, CFG 2.5, время генерации составляет около 10 секунд.
Почему это важно Позволяет агентам моделировать результаты каждого кандидата перед выбором лучшего; лицензия Apache; поддержка в diffusers и vLLM уже реализована
Рост рейтинга 70 · Лайки 70 · Загрузки 10
Причины
- Назначение — «симуляционное рассуждение»: агенты или роботы могут использовать модель для проигрывания каждого варианта действия и выбора оптимального на основе результатов симуляции; в карточке модели также указаны такие применения, как образование и творческая генерация видео
- Готовые инструменты для переписывания промптов: официально предоставлены навык «концептуального рассуждения» для Codex / Claude Code и локальный скрипт переписывания, преобразующий свободный текст в требуемое структурированное описание
- Пути развертывания: репозиторий включает generate.py и скрипты для многопроцессорной работы, поддерживаются diffusers и vLLM; официально также предоставляется фильтр безопасности pan2-guardrail, выполняющий проверку до и после генерации
Использование
- hf download IFM/PAN2 --include "transformer/*", затем однократное преобразование с помощью scripts/convert_checkpoint.py to-native; дополнительно загрузите Qwen/Qwen3.5-9B (текстовый энкодер) и Wan-AI/Wan2.2-TI2V-5B-Diffusers (VAE)
- bash inference/inference.sh <путь к контрольной точке> <выходная директория> [JSON с промптами]; записи с параметром image_path обрабатываются как генерация видео из изображения; длительность, количество шагов и CFG настраиваются через переменные окружения VIDEO_LENGTH, NUM_STEPS, GUIDANCE_SCALE и др.
- Свободные текстовые промпты сначала преобразуются в структурированное описание с помощью официального навыка pan-prompt-rewriter или скрипта inference/prompts_rewritter.py, после чего выполняется генерация
Риски
- На каждой видеокарте должна помещаться полная диффузионная модель с 290 млрд параметров; официальная среда использует CUDA 13 и предварительную версию flash-attn 4, что предъявляет высокие требования к оборудованию
- Официально указано, что длинные планы часто выполняются с ошибками: примерно в двух третях симуляций хотя бы один шаг не выполняется; модель чувствительна к формулировкам промптов, наблюдается дрейф внешнего вида между фрагментами, иногда нарушаются физические ограничения
- Модель способна генерировать реалистичные видео; официально требуется маркировка контента как созданного ИИ и использование guardrail; guardrail также может ложно блокировать некоторые корректные запросы
- Результаты оценки взяты из официального технического отчета; данная запись не была проверена на практике, фактическое качество следует оценивать по карточке модели