Это контрольная модель, обученная по методу LoRA для редактирования: цветной скелет, сгенерированный DWPose (на черном фоне, включающий тело, руки и лицо), передается в узел Text Encode MOSS-Image Edit в качестве единственного референсного изображения; модель следует позе скелета, тогда как персонаж, одежда и сцена определяются промптом. Ранг линейных слоев LoRA 64, ранг сверточных слоев 16, шаг 4500. Автор также выпустил два аналогичных LoRA для управления по карте глубины и по сегментации плоскими цветовыми блоками; в репозитории представлены рабочие процессы ComfyUI и несколько наборов примеров изображений.
Почему это важно MOSS-Image получил возможность управления позой человека; тот же автор также выпустил LoRA для управления по карте глубины и по карте сегментации.
Объятия с лайком 11 · Объятия с ростом рейтинга 11 · Объятия с загрузкой 0
Лицензия: разрешено коммерческое использование · ComfyUI: упомянуто в карточке модели · VRAM: объем видеопамяти не указан
Причины
- Лицензия Apache-2.0; для каждого набора примеров изображений представлены контрольное изображение и результаты с тремя различными промптами
Использование
- Загрузите MOSS-Image-SFT, установите интенсивность LoRA 1.0, выберите формат редактирования ai-toolkit (необходимо настроить в обоих узлах кодирования: для положительного и отрицательного промптов), количество шагов 30, CFG 4, метод сэмплирования euler + simple; скелет извлекается с помощью DWPose из comfyui_controlnet_aux
Риски
- Это не официальный адаптер MOSS для склейки цвета/глубины; если часть тела отсутствует на скелете, промпт не сможет ее восстановить
- Обучено и рекомендуется только для MOSS-Image-SFT