pi-H3: Ускоритель адаптеров H3 для генерации видео со звуком за два-четыре шага

Адаптер MiniMax H3 с малым числом шагов, загруженный 2 12 11 студентом Стэнфордского университета Hansheng Chen и соавторами (часть работы выполнена в Luma AI). Поддерживает генерацию видео по тексту, условия по первому кадру, последнему кадру и обоим кадрам, а также одновременную генерацию синхронизированного аудио. Метод объединяет дистилляцию pi-Flow v2 с малым числом шагов без данных и DWD (Decoding Without a Decoder, статья arXiv 2611.22287): на последнем шаге сеть денойзинга напрямую предсказывает пиксели, минуя декодер VAE; VAE используется только для кодирования первого и последнего кадров. Всего четыре адаптера: версии на 2 и 4 шагов, каждая в вариантах с DWD и с декодированием через VAE. Для версии DWD также доступны файлы INT8 ConvRot, предназначенные исключительно для ComfyUI. Авторы рекомендуют использовать версию DWD.

Оригинальное название: Lakonik/pi-H3

Адаптер MiniMax H3 с малым числом шагов, загруженный 2 12 11 студентом Стэнфордского университета Hansheng Chen и соавторами (часть работы выполнена в Luma AI). Поддерживает генерацию видео по тексту, условия по первому кадру, последнему кадру и обоим кадрам, а также одновременную генерацию синхронизированного аудио. Метод объединяет дистилляцию pi-Flow v2 с малым числом шагов без данных и DWD (Decoding Without a Decoder, статья arXiv 2611.22287): на последнем шаге сеть денойзинга напрямую предсказывает пиксели, минуя декодер VAE; VAE используется только для кодирования первого и последнего кадров. Всего четыре адаптера: версии на 2 и 4 шагов, каждая в вариантах с DWD и с декодированием через VAE. Для версии DWD также доступны файлы INT8 ConvRot, предназначенные исключительно для ComfyUI. Авторы рекомендуют использовать версию DWD.

Почему это важно Сокращение генерации видео с синхронным аудио в H3 до двух-четырех шагов и исключение декодера видео; авторы предоставили рабочие процессы для ComfyUI и версию INT8, что позволяет тестировать решение на потребительских видеокартах

Рост рейтинга 55 · Лайки 75 · Загрузки 0

Обоснование

  • Скорость, указанная авторами в документации ComfyUI: 2 шагов DWD + INT8 + разреженное внимание Sol на RTX 3090 (CUDA 13) генерируют видео длительностью 5 секунд за 15.5 секунд и видео длительностью 10 секунд за 37.3 секунд при разрешении 864×480, а при разрешении 1344×768 видео длительностью 5 секунд генерируется за 38.5 секунд (модель уже загружена, промпт закодирован)
  • Репозиторий с кодом также поддерживает квантование FP8 и разреженное внимание Sol; на Hugging Face доступна онлайн-демонстрация Space от авторов, сравнение качества и скорости представлено в блоге авторов
  • Все четыре адаптера поддерживают условия по тексту, первому и последнему кадрам; переключение между 2 и 4 шагами требует изменения всего одного параметра

Использование

  • ComfyUI: установите узел ComfyUI-piFlow, загрузите файл pi-H3-DWD.json; в качестве базовой модели используйте minimax_h3_fl2va_pruned_int8_convrot из Comfy-Org/MiniMax-H3, поместите адаптер в папку models/loras, переключайте 2 или 4 шагов в узле pi-H3 Adapter
  • diffusers: следуйте документации LakonLab v0.3 для pi-H3, загрузите адаптер pi_h3_4step_dwd_adapter из Lakonik/pi-H3 с помощью load_lakonlab_adapter; первый и последний кадры передаются через параметры image= / last_image=
  • Онлайн-тестирование: https://huggingface.co/spaces/Lakonik/pi-H3

Риски

  • Адаптер является производной моделью от MiniMax H3 и распространяется согласно лицензии сообщества MiniMax H3; перед коммерческим использованием проверьте условия лицензии
  • Требуется код LakonLab от авторов или пользовательские узлы ComfyUI-piFlow, это не нативная функция ComfyUI; таблица скоростей получена авторами на 3090 с включенным gpu-unlock, в рамках данной публикации тестирование не проводилось

Открыть

Hugging Face Trending

Открыть последние новости ИИ