Pika H3 Flex: видео со звуком за шесть шагов, поддержка нескольких референсных изображений

Набор LoRA-адаптеров, дообученных Pika на базе MiniMax-H3, генерирует видео с синхронным стереозвуком; по официальным данным, достаточно шести шагов сэмплирования. Есть два адаптера: FL2VA отвечает за генерацию видео из текста и управление первой, последней и первой-последней кадрами; Ref2VA отвечает за мультимодальные референсы, поддерживая до 9 изображений, 3 видеороликов и 3 аудиозаписей, всего до 12 референсных файлов. Локальный инференс с открытым исходным кодом нативно выводит разрешение 480p / 768p, частоту кадров 24 fps и длительность 5–15 секунд, поддерживая 11 форматов кадра; разрешение от 1080p до 4K, раздельные аудиодорожки и улучшение промптов доступны только через управляемый API от Pika.

Оригинальное название: Pika-Labs/Pika-H3-Flex

Набор LoRA-адаптеров, дообученных Pika на базе MiniMax-H3, генерирует видео с синхронным стереозвуком; по официальным данным, достаточно шести шагов сэмплирования. Есть два адаптера: FL2VA отвечает за генерацию видео из текста и управление первой, последней и первой-последней кадрами; Ref2VA отвечает за мультимодальные референсы, поддерживая до 9 изображений, 3 видеороликов и 3 аудиозаписей, всего до 12 референсных файлов. Локальный инференс с открытым исходным кодом нативно выводит разрешение 480p / 768p, частоту кадров 24 fps и длительность 5–15 секунд, поддерживая 11 форматов кадра; разрешение от 1080p до 4K, раздельные аудиодорожки и улучшение промптов доступны только через управляемый API от Pika.

Почему это важно Открытые веса позволяют запускать модель локально, для ComfyUI есть официальные рабочие процессы, что подходит для создания многокадровых короткометражек, рекламных роликов и анимации по референсным изображениям

Рост рейтинга 151 · Лайки 528 · Загрузки 1083

Причины

  • Одна модель одновременно генерирует изображение и звук (фоновые шумы, диалоги, музыку), не требуя подключения отдельной аудиомодели
  • Два способа управления: контроль первой/последней кадры и использование нескольких референсов; авторы указывают такие сценарии использования, как многокадровый нарратив, моушн-дизайн, рекламные ролики и анимация по референсным изображениям
  • В ComfyUI уже есть официальные руководства и три шаблона рабочих процессов для R2V, FL2VA и T2V; в репозитории включены LoRA в формате BF16 для Comfy

Использование

  • Клонируйте GitHub-репозиторий Pika-Labs/Pika-H3-Flex, выполните быструю установку через pip / Conda / Docker и используйте команду pika-h3-pro для выбора задач t2va, i2va, l2va, fl2va или ref2va
  • ComfyUI: используйте LoRA из папки comfy/loras/ вместе с базовой моделью MiniMax-H3 и официальными шаблонами рабочих процессов Pika H3 Flex
  • Промпты следует писать по временным отрезкам согласно официальному руководству, описывая движение камеры, действия, диалоги и звуки

Риски

  • Адаптеры распространяются по лицензии сообщества MiniMax H3, перед коммерческим использованием необходимо изучить условия
  • Общий размер компонентов базовой модели составляет около 210 ГБ, официальные тесты проводились только на H100 80GB, для больших запросов требуется включение CPU offload
  • Демонстрационные видео являются творческими примерами, и официально не гарантируется точное воспроизведение результатов с помощью выпущенного пакета
  • Данный пункт не был проверен на практике, фактические результаты следует сверять с карточкой модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ