SnapRef v2a: подайте в Anima изображение персонажа, опишите только сцену

Адаптер референсов персонажей, созданный сообществом для базовой модели аниме Anima base v1.0: подайте одно изображение персонажа, а в промпте опишите только сцену, позу и освещение; прическа, цвет глаз и одежда наследуются с референсного изображения. Два режима: Character & Style (cs) переносит также стиль рисования с референса, а Character (char) берет только персонажа, при этом стиль определяется промптом. Простой узел принимает до 8 изображений одного и того же персонажа, например, четкое лицо и изображение в полный рост; продвинутый узел позволяет задавать вес для каждого референсного изображения отдельно. Автор сравнил v1a на фиксированных 64 случаях × 2 сидах: метрики практически одинаковы, но субъективно следование референсу заметно лучше.

Оригинал: 0ppxnhximxr/snapref-v2a

Адаптер референсов персонажей, созданный сообществом для базовой модели аниме Anima base v1.0: подайте одно изображение персонажа, а в промпте опишите только сцену, позу и освещение; прическа, цвет глаз и одежда наследуются с референсного изображения. Два режима: Character & Style (cs) переносит также стиль рисования с референса, а Character (char) берет только персонажа, при этом стиль определяется промптом. Простой узел принимает до 8 изображений одного и того же персонажа, например, четкое лицо и изображение в полный рост; продвинутый узел позволяет задавать вес для каждого референсного изображения отдельно. Автор сравнил v1a на фиксированных 64 случаях × 2 сидах: метрики практически одинаковы, но субъективно следование референсу заметно лучше.

Почему это важно При создании иллюстраций одного персонажа в разных сценах не нужно предварительно обучать LoRA для персонажа; можно использовать несколько референсных изображений с индивидуальной настройкой весов

Рост рейтинга 48 · Лайки 50 · Загрузки 1740

Причины

  • Прилагается шесть рабочих процессов ComfyUI: с одним референсом, в режиме персонажа, с несколькими референсами, с весами референсов, с двумя персонажами рядом
  • Вес модели составляет около 382 МБ, также есть версия FP8 размером около 195 МБ, которая при инференсе восстанавливается до BF16

Использование

  • Сначала установите в ComfyUI базовую модель Anima base v1.0, ее текстовый энкодер и VAE; скопируйте папку comfyui/snapref/ из репозитория в ComfyUI/custom_nodes/snapref/ и перезапустите приложение
  • Поместите snapref_v2a.safetensors в папку models/loras/, откройте workflows/snapref_v2a_simple.json и выберите референсное изображение в узле SnapRef; в примере автора используются CFG 4.5, Euler / simple и Fidelity 1.0
  • Необходимо использовать собственные узлы SnapRef, нельзя загружать модель через LoraLoader или универсальный конвейер diffusers

Риски

  • Веса являются производными от модели CircleStone и распространяются по некоммерческой лицензии CircleStone Labs v1.2, использование разрешено только в некоммерческих целях
  • Ограничения, указанные автором: могут искажаться мелкие аксессуары, воротники и тонкие узоры; детали лица сложно воспроизвести, если лицо на референсе очень яркое; текст или подписи с референсного изображения могут быть скопированы
  • Данный пункт не проверялся на практике, фактические результаты следует сверять с карточкой модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ