Набор LoRA, выпущенный NineCrowns, предназначен для семплирования за 3–4 шагов в мультимодальной модели генерации аудио и видео MiniMax-H3. Он включает универсальную версию для генерации видео по начальному/конечному кадру, по изображению и по тексту, а также версию для синхронизации губ по нескольким референсным изображениям. Каждая из них доступна в сжатой версии размером около 340 МиБ и полной версии с рангом 64. Автор утверждает, что при дистилляции использовались три типа точности базовой модели: GGUF Q4_K_M, INT8 и BF16, поэтому одна LoRA является универсальной. При использовании с базовой моделью Q4_K_M она может работать на видеопамяти менее 9 ГиБ, генерируя видео со стереозвуком длительностью до 15 секунд. В репозитории представлены рабочие процессы ComfyUI для разрешения 480P и 768P; рекомендуемые параметры: CFG 1, семплирование euler за 3–4 шагов и сила LoRA 1.0.
Почему это важно Меньшее количество шагов значительно сокращает время локальной генерации видео; в репозитории представлены 6 рабочих процессов ComfyUI. Результаты и показатели использования видеопамяти основаны на заявлениях автора.
Лайки Hugging Face: 3 · Рост рейтинга Hugging Face: 3 · Загрузки Hugging Face: 393
Лицензия: условное коммерческое использование (ограничения базовой модели) · ComfyUI: предположительно поддерживается · Видеопамять: не указана
Лицензионные ограничения по регионам: открытая лицензия на веса MiniMax H3 не распространяется на Европейский союз, Великобританию, Южную Корею и США (см. раздел Excluded Territories в LICENSE). Для использования в этих четырех регионах требуется отдельная лицензия от MiniMax.
Причины
- Представлены полные рекомендуемые настройки ComfyUI и готовые к запуску рабочие процессы, а также сравнительные видео для различных уровней точности
Использование
- В ComfyUI загрузите соответствующую ветку базовой модели MiniMax-H3 (при недостатке видеопамяти менее 9 ГБ используйте GGUF Q4_K_M), примените LoRA версии FL2VA или Ref2VA с силой 1.0, и настройте BetaSamplingScheduler и MiniMaxH3SigmaShift согласно карточке модели
Риски
- Утверждения о повышении резкости, использовании видеопамяти и масштабах обучения исходят от автора и не прошли независимую проверку
- В репозитории указана лицензия Apache-2.0, однако базовая модель MiniMax-H3 распространяется под лицензией с условным коммерческим использованием, не действующей в Европейском союзе, Великобритании, Южной Корее и США. Для использования в этих четырех регионах требуется отдельная лицензия от MiniMax