MiniMax-H3-Image: LoRA-пакет для генерации изображения за два шага

Автор сообщества адаптировал LoRA на 2 шага (ранг 128, охватывающий слои внимания и прямого распространения во всех 50 блоках), представленную в статье pDMD (arXiv 2609.35768), для использования с MiniMax-H3-Image: исходная модель была дистиллирована с фиксированным расписанием на 6 шагов, но при 2 шагах изображение ещё не сходится; после применения этой LoRA полноценное изображение получается уже за 2 итераций денуазинга при нативном разрешении 4096×4096. Репозиторий содержит четыре типа файлов: LoRA с ключами для diffusers, LoRA с ключами для ComfyUI, однофайловый чекпоинт ComfyUI объёмом 40 ГБ с уже объединённой LoRA, а также официальный трансформер, конвертированный в формат diffusers. По словам автора, на одной видеокарте H200 генерация при разрешении 4096×4096 занимает около 25.1 секунд для оригинальной версии с 6 шагами и около 17.4 секунд для версии с 2 шагами.

Оригинальное название: akhaliq/minimax-h3-image-pdmd-2step

Автор сообщества адаптировал LoRA на 2 шага (ранг 128, охватывающий слои внимания и прямого распространения во всех 50 блоках), представленную в статье pDMD (arXiv 2609.35768), для использования с MiniMax-H3-Image: исходная модель была дистиллирована с фиксированным расписанием на 6 шагов, но при 2 шагах изображение ещё не сходится; после применения этой LoRA полноценное изображение получается уже за 2 итераций денуазинга при нативном разрешении 4096×4096. Репозиторий содержит четыре типа файлов: LoRA с ключами для diffusers, LoRA с ключами для ComfyUI, однофайловый чекпоинт ComfyUI объёмом 40 ГБ с уже объединённой LoRA, а также официальный трансформер, конвертированный в формат diffusers. По словам автора, на одной видеокарте H200 генерация при разрешении 4096×4096 занимает около 25.1 секунд для оригинальной версии с 6 шагами и около 17.4 секунд для версии с 2 шагами.

Почему это важно Оригинальная версия имеет фиксированные 6 шагов, которые нельзя уменьшить; двухшаговый режим позволяет получать предпросмотр прямо во время ввода текста, быстрее менять сиды и промпты, а также включает три рабочих процесса для ComfyUI

Рост рейтинга 47 · Лайки 47 · Загрузки 17989

Причина

  • ComfyUI предлагает два пути: загрузка однофайлового чекпойнта (без использования узлов LoRA) или добавление LoRA размером 2 ГБ к официальной упаковке Comfy-Org с фиксированной силой 1.0; автор утверждает, что это было проверено на последней версии ComfyUI и все имена ключей совпадают
  • Прилагается процесс улучшения деталей: черновой эскиз в половинном размере за 2 шага → увеличение разрешения → повторное кодирование → ресемплинг за 3 шагов, где начальное значение шума 0.4–0.55 сохраняет композицию, а 0.7 обеспечивает больше деталей, но может привести к дрейфу
  • Демонстрационное пространство akhaliq/minimax-h3-image-2step позволяет просматривать живое предпросмотр размером около 1 МП во время ввода

Использование

  • ComfyUI: поместите файл minimax_h3_image_pdmd_2step_bf16.safetensors в папку models/diffusion_models; для текстового энкодера и VAE используйте файлы из Comfy-Org/MiniMax-H3-Image; в ноде MiniMaxH3SigmaShift установите shift_video 12, выберите сэмплер euler, расписание simple и количество шагов 2; либо просто перетащите готовые рабочие процессы из папки workflows/ в репозитории
  • diffusers: файл lora_model_0.safetensors можно объединить с MiniMaxH3Transformer3DModel; используйте scheduler.set_shift(12.0) и set_timesteps(3); CFG и негативные промпты не требуются

Риски

  • Сама LoRA распространяется под лицензией Apache-2.0, но сгенерированный контент по-прежнему подчиняется условиям сообщества MiniMax-H3-Image (есть ограничения по регионам и требования к атрибуции)
  • Примеры изображений были отрендерены в пайплайне P-H3-Image; автор утверждает, что ещё не проверял, совпадают ли имена ключей этого LoRA с недавно добавленным в diffusers официальным пайплайном MiniMax-H3-Image
  • Квантованные чекпоинты int8_convrot / w4a8 нельзя предварительно объединить, их можно использовать только через ноду LoRA; данный пункт не был протестирован

Открыть

Hugging Face Trending

Открыть последние новости ИИ