Оригинальное название: Viggle/Viggle-Image-Swap
Viggle выпустила LoRA для Qwen-Image-2.1 (ранг 256): полностью заменяет людей на фотографии на персонажей с референсных изображений, меняя лицо, волосы, тело и одежду, при этом сохраняя позу, выражение лица, композицию, фон и освещение оригинала. Для каждого заменяемого человека требуется одно референсное изображение размером 1536×1024 (левая треть — портрет, правые две трети — три вида: анфас, профиль и со спины); также можно вставить фотографию реального лица в область портрета, но использование только одной фотографии не поддерживается. По умолчанию используется 6 шагов без CFG; при добавлении флага --turbo первые 2 шагов LoRA определяет персонажа, а последние 6 шагов модель Qwen-Image-2.1-Turbo дорабатывает детали. Выходное разрешение составляет примерно 1 МП. Официальные тесты на одной карте B200 показали время обработки примерно 2.2 секунд на изображение и пиковое потребление видеопамяти 46 ГБ; в режиме turbo время составляет примерно 4.1 секунд, а потребление памяти — 55 ГБ.
Почему это важно При внедрении персонажей, создании рекламы и адаптации кадров не нужно проводить новые фотосессии; на одном фото можно заменить двух человек одновременно, по умолчанию генерация занимает шесть шагов
Рост рейтинга 47 · Лайки 49 · Количество загрузок 2004
Причины
- Можно заменить нескольких человек за один проход, указав, кого оставить; скрипт swap.py автоматически формирует промпты на основе положения персонажей (слева, справа, по порядку)
- Включена коррекция цвета: общая яркость приводится в соответствие с оригиналом на основе неизмененных пикселей фона
Использование
- Установите указанные в README версии библиотек transformers, peft и фиксированный коммит diffusers
- python inference/swap.py --src scene.png --char sheet.png "man in a green shirt" --out out.png; для нескольких персонажей используйте несколько аргументов --char с указанием позиции через --left и сохранение конкретного человека через --kept
- Для более четких деталей добавьте флаг --turbo (это потребует дополнительной загрузки модели Qwen-Image-2.1-Turbo)
Риски
- Лицензия Qwen Research разрешает использование только для исследований и оценки; для коммерческого применения необходимо отдельное разрешение от команды Qwen; модель, загружаемая с флагом --turbo, также подпадает под эти ограничения
- Ограничения, указанные авторами: новый персонаж иногда сохраняет одежду оригинального человека, поза и композиция могут смещаться; в режиме --turbo иногда возвращаются аксессуары, одежда или даже сам оригинальный человек
- Технология может использоваться для замены изображений реальных людей; перед использованием чужих портретов необходимо получить разрешение, а при публикации указывать, что изображение сгенерировано ИИ
- Высокие требования к видеопамяти; данный пример не был запущен, результаты следует сверять с карточкой модели