Оригинал: 0ppxnhximxr/snapref-v2a
Адаптер референсов персонажей, созданный сообществом для базовой модели аниме Anima base v1.0: подайте одно изображение персонажа, а в промпте опишите только сцену, позу и освещение; прическа, цвет глаз и одежда наследуются с референсного изображения. Два режима: Character & Style (cs) переносит также стиль рисования с референса, а Character (char) берет только персонажа, при этом стиль определяется промптом. Простой узел принимает до 8 изображений одного и того же персонажа, например, четкое лицо и изображение в полный рост; продвинутый узел позволяет задавать вес для каждого референсного изображения отдельно. Автор сравнил v1a на фиксированных 64 случаях × 2 сидах: метрики практически одинаковы, но субъективно следование референсу заметно лучше.
Почему это важно При создании иллюстраций одного персонажа в разных сценах не нужно предварительно обучать LoRA для персонажа; можно использовать несколько референсных изображений с индивидуальной настройкой весов
Рост рейтинга 48 · Лайки 50 · Загрузки 1740
Причины
- Прилагается шесть рабочих процессов ComfyUI: с одним референсом, в режиме персонажа, с несколькими референсами, с весами референсов, с двумя персонажами рядом
- Вес модели составляет около 382 МБ, также есть версия FP8 размером около 195 МБ, которая при инференсе восстанавливается до BF16
Использование
- Сначала установите в ComfyUI базовую модель Anima base v1.0, ее текстовый энкодер и VAE; скопируйте папку comfyui/snapref/ из репозитория в ComfyUI/custom_nodes/snapref/ и перезапустите приложение
- Поместите snapref_v2a.safetensors в папку models/loras/, откройте workflows/snapref_v2a_simple.json и выберите референсное изображение в узле SnapRef; в примере автора используются CFG 4.5, Euler / simple и Fidelity 1.0
- Необходимо использовать собственные узлы SnapRef, нельзя загружать модель через LoraLoader или универсальный конвейер diffusers
Риски
- Веса являются производными от модели CircleStone и распространяются по некоммерческой лицензии CircleStone Labs v1.2, использование разрешено только в некоммерческих целях
- Ограничения, указанные автором: могут искажаться мелкие аксессуары, воротники и тонкие узоры; детали лица сложно воспроизвести, если лицо на референсе очень яркое; текст или подписи с референсного изображения могут быть скопированы
- Данный пункт не проверялся на практике, фактические результаты следует сверять с карточкой модели