H3-Tiny-ComfyUI

H3-Tiny представляет собой результат структурного прунинга модели MiniMax H3 (генерация аудио и видео одновременно, оригинальная версия 33B): аппроксимация проекций AdaLN с рангом 8, удаление 8 из 50 блоков для получения версии 17B (без обучения), затем сужение каждого слоя FFN с 14336 до 9792 каналов и восстановление через дистилляцию от модели 33B, что дает итоговую модель 14B. Версия для ComfyUI от 21 11 включает три отдельных файла: генерация видео из референсного изображения на базе 17B (Ref2VA), генерация видео по первому и последнему кадру или текстовому описанию на базе 17B (FL2VA / T2VA) и генерация видео из референсного изображения на базе 14B, каждый размером 28–34 ГБ; автор протестировал их в ComfyUI (коммит afcb984) при разрешении 1344×768 и количестве кадров 243, результаты совпадают с версией для diffusers. Существует также версия с дистилляцией малого числа шагов (6 шагов), но она не включена в версию для ComfyUI.

H3-Tiny представляет собой результат структурного прунинга модели MiniMax H3 (генерация аудио и видео одновременно, оригинальная версия 33B): аппроксимация проекций AdaLN с рангом 8, удаление 8 из 50 блоков для получения версии 17B (без обучения), затем сужение каждого слоя FFN с 14336 до 9792 каналов и восстановление через дистилляцию от модели 33B, что дает итоговую модель 14B. Версия для ComfyUI от 21 11 включает три отдельных файла: генерация видео из референсного изображения на базе 17B (Ref2VA), генерация видео по первому и последнему кадру или текстовому описанию на базе 17B (FL2VA / T2VA) и генерация видео из референсного изображения на базе 14B, каждый размером 28–34 ГБ; автор протестировал их в ComfyUI (коммит afcb984) при разрешении 1344×768 и количестве кадров 243, результаты совпадают с версией для diffusers. Существует также версия с дистилляцией малого числа шагов (6 шагов), но она не включена в версию для ComfyUI.

Почему это важно Используя встроенный рабочий процесс H3 в ComfyUI, достаточно заменить один файл модели, и всё заработает без необходимости устанавливать пользовательские узлы; автор утверждает, что прунинговая версия работает «из коробки» без дополнительного обучения.

Реакция «Обнимаю» (Hugging Face): 8 · Рост рейтинга: 8 · Загрузки: 0

Лицензия: разрешено коммерческое использование с условиями · ComfyUI: упомянуто в карточке модели · Требуемая видеопамять: ≈116 ГБ (оценка)

Региональные ограничения лицензии: открытая лицензия на веса MiniMax H3 не распространяется на Европейский союз, Великобританию, Южную Корею и США (см. раздел Excluded Territories в файле LICENSE); для этих регионов требуется отдельная авторизация от MiniMax.

Причины

  • В карточке модели четко указаны официальные узлы рабочего процесса, количество шагов сэмплирования и планировщики для каждого файла, а также отмечено, что turbo LoRA от Comfy-Org не тестировалась на прунинговой версии
  • Код прунинга и инференса открыт (лицензия Apache 2.0), поэтому можно выполнить прунинг самостоятельно начиная с модели 33B

Использование

  • Поместите файлы из папки diffusion_models в ComfyUI/models/diffusion_models, загрузите текстовый энкодер и два VAE из репозитория Comfy-Org/MiniMax-H3, откройте официальный рабочий процесс «MiniMax H3 Image to Video» или «Reference to Video», выберите файл H3-Tiny в узле Load Diffusion Model; используйте 50 шагов, планировщик simple, BasicGuider без CFG и не подключайте turbo LoRA

Риски

  • Применяется лицензия сообщества MiniMax H3, которая не действует в Европейском союзе, Великобритании, Южной Корее и США
  • Размер одного файла составляет 28–34 ГБ; автор тестировал на одной карте H200; согласно документации GitHub, при объеме видеопамяти менее примерно 110 ГБ необходимо включать offload. Оценка в 116 ГБ получена путем сложения размеров трех файлов и является неточной
  • Сравнение качества основано только на примерах, предоставленных автором; научная статья еще не опубликована

Открыть

抱脸 text-to-video 新模型

Открыть последние новости ИИ