Оригинальное название: Lakonik/pi-H3
Адаптер MiniMax H3 с малым числом шагов, загруженный 2 12 11 студентом Стэнфордского университета Hansheng Chen и соавторами (часть работы выполнена в Luma AI). Поддерживает генерацию видео по тексту, условия по первому кадру, последнему кадру и обоим кадрам, а также одновременную генерацию синхронизированного аудио. Метод объединяет дистилляцию pi-Flow v2 с малым числом шагов без данных и DWD (Decoding Without a Decoder, статья arXiv 2611.22287): на последнем шаге сеть денойзинга напрямую предсказывает пиксели, минуя декодер VAE; VAE используется только для кодирования первого и последнего кадров. Всего четыре адаптера: версии на 2 и 4 шагов, каждая в вариантах с DWD и с декодированием через VAE. Для версии DWD также доступны файлы INT8 ConvRot, предназначенные исключительно для ComfyUI. Авторы рекомендуют использовать версию DWD.
Почему это важно Сокращение генерации видео с синхронным аудио в H3 до двух-четырех шагов и исключение декодера видео; авторы предоставили рабочие процессы для ComfyUI и версию INT8, что позволяет тестировать решение на потребительских видеокартах
Рост рейтинга 55 · Лайки 75 · Загрузки 0
Обоснование
- Скорость, указанная авторами в документации ComfyUI: 2 шагов DWD + INT8 + разреженное внимание Sol на RTX 3090 (CUDA 13) генерируют видео длительностью 5 секунд за 15.5 секунд и видео длительностью 10 секунд за 37.3 секунд при разрешении 864×480, а при разрешении 1344×768 видео длительностью 5 секунд генерируется за 38.5 секунд (модель уже загружена, промпт закодирован)
- Репозиторий с кодом также поддерживает квантование FP8 и разреженное внимание Sol; на Hugging Face доступна онлайн-демонстрация Space от авторов, сравнение качества и скорости представлено в блоге авторов
- Все четыре адаптера поддерживают условия по тексту, первому и последнему кадрам; переключение между 2 и 4 шагами требует изменения всего одного параметра
Использование
- ComfyUI: установите узел ComfyUI-piFlow, загрузите файл pi-H3-DWD.json; в качестве базовой модели используйте minimax_h3_fl2va_pruned_int8_convrot из Comfy-Org/MiniMax-H3, поместите адаптер в папку models/loras, переключайте 2 или 4 шагов в узле pi-H3 Adapter
- diffusers: следуйте документации LakonLab v0.3 для pi-H3, загрузите адаптер pi_h3_4step_dwd_adapter из Lakonik/pi-H3 с помощью load_lakonlab_adapter; первый и последний кадры передаются через параметры image= / last_image=
- Онлайн-тестирование: https://huggingface.co/spaces/Lakonik/pi-H3
Риски
- Адаптер является производной моделью от MiniMax H3 и распространяется согласно лицензии сообщества MiniMax H3; перед коммерческим использованием проверьте условия лицензии
- Требуется код LakonLab от авторов или пользовательские узлы ComfyUI-piFlow, это не нативная функция ComfyUI; таблица скоростей получена авторами на 3090 с включенным gpu-unlock, в рамках данной публикации тестирование не проводилось