LoRA с дистилляцией в 4 шага для MOSS-Image

Автор сообщества lvladikov опубликовал LoRA с дистилляцией в 4 шагов (ранг 64) для SFT-обучения модели MOSS-Image от OpenMOSS. Загрузка выполнена 19 11 месяца, текущий чекпоинт создан 20 11 месяца. Метод основан на распределенном матчинге eDMD, согласованном с учительской моделью, работающей за 50 шагов при CFG 3, с добавлением небольшого адверсариального дискриминатора в стиле LADD, который сравнивает изображения студента с изображениями учителя и примерно 8,000 фрагментами реальных фотографий. Генерация занимает всего 4 шагов при CFG 1 с одним вызовом модели на шаг (всего 100 вызовов для учителя). Обучение проводилось примерно 57 часов на одной видеокарте NVIDIA B300 с охватом 12 разрешений от 768×512 до 1824×1024.

Оригинальное название: lvladikov/MOSS-SFT-Distill-4step-LoRA

Автор сообщества lvladikov опубликовал LoRA с дистилляцией в 4 шагов (ранг 64) для SFT-обучения модели MOSS-Image от OpenMOSS. Загрузка выполнена 19 11 месяца, текущий чекпоинт создан 20 11 месяца. Метод основан на распределенном матчинге eDMD, согласованном с учительской моделью, работающей за 50 шагов при CFG 3, с добавлением небольшого адверсариального дискриминатора в стиле LADD, который сравнивает изображения студента с изображениями учителя и примерно 8,000 фрагментами реальных фотографий. Генерация занимает всего 4 шагов при CFG 1 с одним вызовом модели на шаг (всего 100 вызовов для учителя). Обучение проводилось примерно 57 часов на одной видеокарте NVIDIA B300 с охватом 12 разрешений от 768×512 до 1824×1024.

Почему это важно Автор утверждает, что время работы на GPU сокращается примерно в 14 раз, цветовая гамма близка к оригинальной модели, а текст также отображается корректно; для работы достаточно основных нод ComfyUI

Рост рейтинга 30 · Лайки 33 · Загрузки 2685

Причины

  • По словам автора, на Comfy Cloud для тех же 22 изображений размером 1024×1024 оплачиваемое время GPU составляет 26.6 секунд против 387.3 секунд, что дает экономию примерно в 14 раз; на 21 тестовых промптах средняя яркость ниже учительской модели на 1.0 L*, а детализация текстур в 1.16 раз выше, чем у учителя
  • Из 15 промптов с текстом в 14 случаях требуемый текст написан полностью верно (у учителя — во всех 15 случаях, у LoRA от akhaliq с 4 шагами — в 12 случаях)
  • Приложены десять рабочих процессов ComfyUI (генерация текста в изображение, верстка, редактирование изображений, апскейл PiD в 4 раз и т.д., по одному для локального запуска и Comfy Cloud), использующие только основные ноды; также доступен исправленный файл для стандартного загрузчика LoRA в ComfyUI

Использование

  • ComfyUI: поместите moss_sft_4step_rank_64_lora_comfyui.safetensors в папку models/loras, установите силу 1.0, в качестве базовой модели используйте moss_image_sft_bf16 от Comfy-Org/MOSS-Image; используйте сэмплер euler + Manual Sigmas «1.0, 0.91, 0.717, 0.024, 0.0», CFG 1 (Basic Guider)
  • diffusers: используйте функцию apply_4step_lora из репозитория для подключения moss_sft_4step_rank_64_lora.safetensors к трансформеру, установите num_inference_steps=4 и guidance_scale=1.0
  • Не используйте планировщик simple в ComfyUI; держите силу на уровне 1.0, так как, по словам автора, увеличение силы приводит только к появлению двойных контуров без добавления деталей

Риски

  • Адаптировано только для MOSS-Image SFT и соответствующего графика сэмплирования; размеры, выходящие за пределы обучающего диапазона, такие как 2848×1600 по умолчанию в официальном шаблоне, требуют очень длинных промптов; на Mac декодирование VAE для больших размеров вызывает ошибку, требуется переключение на блочное декодирование
  • Проблемы, отмеченные автором: в местах без явного указания текста генерируются вымышленные надписи, в вертикальных композициях толпы выглядят одинаково, количество людей за столом неточно, иногда встречаются опечатки; все сравнительные изображения сгенерированы автором, лицензию базовой модели следует проверять отдельно, данный пункт не был протестирован

Открыть

Hugging Face Trending

Открыть последние новости ИИ