Это дистиллированный LoRA-адаптер ранга 64 для дообучения модели MOSS-Image SFT в рамках проекта OpenMOSS, созданный участником сообщества lvladikov. Обучение проводилось с использованием метода распределённого сопоставления eDMD и адверсариального дискриминатора LADD (дискриминатор одновременно сравнивал изображения, сгенерированные оригинальной моделью за 50 шагов, примерно с 8000 реальными фотографиями). Генерация выполняется за 4 шагов при значении CFG 1, а обучение охватывает 12 различных разрешений в диапазоне от 768×512 до 1824×1024. По словам автора, время GPU-рендеринга тех же 22 изображений размером 1024×1024 на платформе Comfy Cloud сократилось с 387.3 до 26.6 секунд. Из 15 промптов, требующих наличия текста на изображении, в 14 случаях текст был отрисован полностью корректно (в оригинальной модели — во всех 15 случаях). В репозитории представлены код для библиотеки diffusers, файлы LoRA, скорректированные для загрузки в ComfyUI, а также четыре типа рабочих процессов: генерация изображений по текстовому описанию, разметка макета, редактирование изображений и апскейлинг с помощью PiD в 4 раз (по одной версии для локального запуска и для Comfy Cloud).
Почему это важно Модель вызывается один раз на шаг, негативные промпты не используются. По словам автора, время работы GPU для той же партии изображений сокращается примерно в 14 раз. Прилагаются файлы, специально подготовленные для ComfyUI, и рабочие процессы с 8 ключевыми узлами.
Реакция «Обнимаю» 13 · Рост рейтинга за «Обнимаю» 13 · Загрузки «Обнимаю» 4
Лицензия: разрешено коммерческое использование · ComfyUI: упомянуто в карточке модели · Видеопамять: 196 ГБ
Причины
- В карточке модели приведено сравнение результатов оригинальной модели за 50 шагов, LoRA от akhaliq за 4 шагов и данного LoRA при одинаковом seed, а также все сгенерированные изображения для 12 различных разрешений
- Лицензия Apache-2.0, такая же, как у базовой модели; доступна онлайн-демонстрация на Hugging Face
Использование
- ComfyUI: поместите файл moss_sft_4step_rank_64_lora_comfyui.safetensors в папку models/loras. В качестве базовой модели используйте moss_image_sft_bf16 из репозитория Comfy-Org/MOSS-Image. Загрузите рабочий процесс moss_sft_4step_lora_t2i_local.json. Используйте метод дискретизации euler с параметрами Manual Sigmas «1.0, 0.91, 0.717, 0.024, 0.0», значение CFG 1, силу LoRA 1.0. Негативные промпты не добавляйте.
- diffusers: подключите стандартную версию LoRA к трансформеру с помощью функции apply_4step_lora, указанной в карточке модели. Установите параметры num_inference_steps=4 и guidance_scale=1.0.
Риски
- Подходит только для MOSS-Image SFT. Коэффициенты коррекции для файлов ComfyUI были протестированы на базовой модели bf16; файлы int8 из официального шаблона не тестировались.
- Проблемы, отмеченные автором: на вывесках, где не требовался текст, появляются бессмысленные символы; иногда возникают лишние объекты или люди; темные сцены получаются светлее, чем в оригинальной версии; при увеличении силы LoRA выше 1.0 появляются двойные контуры вместо дополнительных деталей.
- Все числовые данные получены автором в ходе самостоятельного тестирования. Указанные в карточке 196 ГБ — это пиковое потребление видеопамяти во время обучения; потребление видеопамяти при инференсе зависит от базовой модели MOSS-Image.