LoRA для замены персонажей, обученная Akatz Labs для режима нескольких референсов MiniMax-H3 (Ref2VA): на вход подаются исходное видео и изображение персонажа, указанный человек в видео заменяется на персонажа с изображения, при этом сохраняются поза, направление взгляда, выражение лица и движения из оригинального видео, а также сцена и другие люди. 9 25 числа был выпущен V1, 10 16 числа вышел V1.5 (рекомендуемая версия), а 10 17 числа добавлен нативный рабочий процесс ComfyUI, совместимый с H3 Relay 2.0 от соавтора. За последние 7 периодов не включалось.
Рост рейтинга: 57 · Лайки: 704 · Загрузки: 137211
Причины
- Решает задачу «сохранить игру актера, но заменить самого актера»: в промпте используйте \u003cVideo 1\u003e для исходного видео и \u003cPicture 1\u003e для изображения персонажа, четко указывая, кого нужно заменить (например, «мужчина в фиолетовой рубашке»). Автор отмечает, что дополнительные триггерные слова не обучались.
- V1.5 дообучался на основе V1 в течение 1,000 шагов с добавлением целевых данных по движению и кадрированию лиц; автор предоставил сравнительные видео V1 / V1.5, утверждая, что V1.5 лучше сохраняет стилизованное лицо, прическу и идентичность персонажа, но явно указал, что это отобранные примеры, а не полная оценка.
- Процесс обучения открыт: датасет V1 akatz-ai/H3-Character-Swap-v1 и run-summary.json для V1.5 (ранг 16, скорость обучения 1e-5, хеш исходного файла) находятся в репозитории; размер файла V1.5 составляет примерно 155 МБ.
Использование
- ComfyUI: дополнительно требуются базовая модель H3 Ref2VA, текстовый энкодер и VAE. Поместите h3_character_swap_v1.5.safetensors в каталог LoRA, используйте загрузчик LoRA только для модели с силой 1.0; V1.5 заменяет V1, не накладывайте их друг на друга.
- Проверенная автором конфигурация: базовая модель Ref2VA INT8 + данная LoRA с силой 1.0 + отдельная ускоряющая LoRA minimax_h3_fl2v_turbo_8step_v1.0_768p с силой 1.0, 8 шагов, CFG 1, сэмплер er_sde, планировщик normal; 24 fps, сначала сделайте короткий непрерывный клип (в тестах автора V1 отрезки 4–5 секунд были стабильнее, чем 14 секунд).
- Если нужны маски, продолжение длинных сегментов и сохранение оригинального звука, установите H3 Relay 2.0 от автора и используйте рабочий процесс H3-Character-Swap-Relay-V2 из папки examples в репозитории.
Риски
- Автор называет модель экспериментальной: возможны дрейфы идентичности персонажа, тайминга движений, выражений лица, окклюзий и резких монтажных склеек; обучение V1 проводилось только на 94 сгенерированных примерах редактирования изображений, замена нескольких людей не обучалась специально. В этой рубрике сравнительные видео не просматривались.
- Оригинальный звук в готовом ролике добавляется инструментом на этапе постобработки, что не означает, что LoRA может восстановить аудио или исправить рассинхронизацию губ.
- Замена реальных людей связана с рисками нарушения прав на изображение и создания дипфейков; используйте только видео и изображения персонажей, на которые у вас есть права. Лицензия — Community License MiniMax H3 (не Apache), автор предупреждает, что стандартная лицензия не покрывает США, ЕС, Великобританию и Южную Корею; перед коммерческим использованием или использованием в этих регионах необходимо ознакомиться с оригинальными условиями.