akhaliq объединил адаптер стиля Pika-H3-Flex от Pika и LoRA дистилляции с малым числом шагов для MiniMax-H3 (lightx2v Turbo, pDMD 2 шагов) в один стандартный LoRA путём конкатенации слоёв: поместите его в обычный пайплайн MiniMax-H3, чтобы генерировать видео со звуком за 2, 4 или 8 шагов без кастомных нод или модификации модели. Сам Pika-H3-Flex был добавлен 30 10, а эта объединённая версия ранее не публиковалась.
Рост рейтинга: 78 · Лайки: 78 · Загрузки: 28961
Причины
- По замерам автора (848×480, 121 кадров со стереозвуком, CFG 1): на H200 официальный адаптер Pika за 6 шагов генерирует видео длительностью 5 секунд примерно за 60 секунд, данный LoRA за 4 шагов — примерно за 40 секунд, а черновой вариант за 2 шаг — примерно за 25 секунд; на A100 это 109.3 секунд против 66.0 секунд. Ускорение достигается исключительно за счёт уменьшения числа шагов, время одного шага остаётся неизменным.
- Метод основан на конкатенации рангов; автор утверждает, что это численно эквивалентно одновременной загрузке двух LoRA (относительная ошибка на каждом слое порядка 1e-7), а не приближённому слиянию; сила стиля Flex фиксирована на уровне 0.5 (для 2 / 4 шагов) и 0.6 (для 8 шагов в режиме HD).
- Всего семь файлов, разделённых на категории FL2VA (обычная генерация по тексту / изображению) и Ref2VA (множественные референсы); также доступна облегчённая версия с рангом 32, размером 0.31 ГБ, которая, по словам автора, сохраняет 96.1% спектральной энергии. В репозитории представлены сравнительные видео и скрипты для воспроизведения.
Использование
- ComfyUI: выберите файл в соответствии с пайплайном и поместите его в models/loras (для обычной генерации по тексту / изображению используйте fl2va, для пайплайнов с референсными изображениями — ref2va), добавьте ноду LoraLoaderModelOnly в рабочий процесс MiniMax-H3 с силой 1.0.
- Сэмплирование: число шагов соответствует выбранному файлу (2, 4 или 8 шагов), CFG 1.0, сэмплеры euler / lcm / res_multistep, планировщик simple; для видео используйте shift 6.0 (FL2VA) или 12.0 (Ref2VA), для аудио shift 3.0.
- Сначала используйте версию с 2 шагом для определения композиции и движения, а для финального рендера используйте версии с 4 или 8 шагами; в Diffusers также можно загружать как обычный LoRA.
Риски
- Это личная сборка, а не официальная версия от Pika или MiniMax; сравнения скорости и качества выполнены самим автором, для демонстрации использовалась объединённая модель сообщества Singularity, а не оригинальная H3. Редакция данного раздела не проверяла сравнительные видео.
- Предупреждение автора: при числе шагов менее примерно 6 качество аудио ухудшается, что особенно заметно при 2 шаге; версия с 2 шагом иногда полностью не справляется с задачей и подходит только для черновиков; быстрые движения являются слабым местом моделей с малым числом шагов. Не накладывайте LoRA с высокой силой стиля или движения поверх версий с 2 / 4 шагами.
- Лицензия наследуется от сообщества MiniMax H3 (модель, производная от MiniMax-H3); перед коммерческим использованием необходимо изучить оригинальные условия; размер каждого файла стандартной версии составляет 3.9 ГБ.