CROWN-MiniMax-H3-HyperPDMD-HD-3-4Step-LoRA

Набор LoRA, выпущенный NineCrowns, предназначен для семплирования за 3–4 шагов в мультимодальной модели генерации аудио и видео MiniMax-H3. Он включает универсальную версию для генерации видео по начальному/конечному кадру, по изображению и по тексту, а также версию для синхронизации губ по нескольким референсным изображениям. Каждая из них доступна в сжатой версии размером около 340 МиБ и полной версии с рангом 64. Автор утверждает, что при дистилляции использовались три типа точности базовой модели: GGUF Q4_K_M, INT8 и BF16, поэтому одна LoRA является универсальной. При использовании с базовой моделью Q4_K_M она может работать на видеопамяти менее 9 ГиБ, генерируя видео со стереозвуком длительностью до 15 секунд. В репозитории представлены рабочие процессы ComfyUI для разрешения 480P и 768P; рекомендуемые параметры: CFG 1, семплирование euler за 3–4 шагов и сила LoRA 1.0.

Набор LoRA, выпущенный NineCrowns, предназначен для семплирования за 3–4 шагов в мультимодальной модели генерации аудио и видео MiniMax-H3. Он включает универсальную версию для генерации видео по начальному/конечному кадру, по изображению и по тексту, а также версию для синхронизации губ по нескольким референсным изображениям. Каждая из них доступна в сжатой версии размером около 340 МиБ и полной версии с рангом 64. Автор утверждает, что при дистилляции использовались три типа точности базовой модели: GGUF Q4_K_M, INT8 и BF16, поэтому одна LoRA является универсальной. При использовании с базовой моделью Q4_K_M она может работать на видеопамяти менее 9 ГиБ, генерируя видео со стереозвуком длительностью до 15 секунд. В репозитории представлены рабочие процессы ComfyUI для разрешения 480P и 768P; рекомендуемые параметры: CFG 1, семплирование euler за 3–4 шагов и сила LoRA 1.0.

Почему это важно Меньшее количество шагов значительно сокращает время локальной генерации видео; в репозитории представлены 6 рабочих процессов ComfyUI. Результаты и показатели использования видеопамяти основаны на заявлениях автора.

Лайки Hugging Face: 3 · Рост рейтинга Hugging Face: 3 · Загрузки Hugging Face: 393

Лицензия: условное коммерческое использование (ограничения базовой модели) · ComfyUI: предположительно поддерживается · Видеопамять: не указана

Лицензионные ограничения по регионам: открытая лицензия на веса MiniMax H3 не распространяется на Европейский союз, Великобританию, Южную Корею и США (см. раздел Excluded Territories в LICENSE). Для использования в этих четырех регионах требуется отдельная лицензия от MiniMax.

Причины

  • Представлены полные рекомендуемые настройки ComfyUI и готовые к запуску рабочие процессы, а также сравнительные видео для различных уровней точности

Использование

  • В ComfyUI загрузите соответствующую ветку базовой модели MiniMax-H3 (при недостатке видеопамяти менее 9 ГБ используйте GGUF Q4_K_M), примените LoRA версии FL2VA или Ref2VA с силой 1.0, и настройте BetaSamplingScheduler и MiniMaxH3SigmaShift согласно карточке модели

Риски

  • Утверждения о повышении резкости, использовании видеопамяти и масштабах обучения исходят от автора и не прошли независимую проверку
  • В репозитории указана лицензия Apache-2.0, однако базовая модель MiniMax-H3 распространяется под лицензией с условным коммерческим использованием, не действующей в Европейском союзе, Великобритании, Южной Корее и США. Для использования в этих четырех регионах требуется отдельная лицензия от MiniMax

Открыть

抱脸 image-to-video 上升榜

Открыть последние новости ИИ