Оригинальное название: akhaliq/MiniMax-H3-Image-Character-Swap
Загрузка от akhaliq 11 14: LoRA для замены персонажей MiniMax-H3 v1.5 от Akatz Labs (ранг 16, охватывает 50 блоков DiT и 2 блоков token refiner) напрямую объединена с DiT модели MiniMaxAI/MiniMax-H3-Image с интенсивностью 1.0, что позволяет не подключать LoRA отдельно. Использование: фотография сцены подается как <Picture 1>, референсное изображение персонажа — как <Picture 2>; необходимо четко указать, кого заменить. Модель заменяет человека, сохраняя фон, освещение, других людей и исходную позу. Репозиторий также содержит объединенные чекпоинты в формате diffusers и ComfyUI (40 ГБ), а также исходную LoRA (155 МБ) и конвертированную LoRA для diffusers (173 МБ). Лицензия соответствует лицензии сообщества MiniMax-H3-Image.
Почему это важно Замена аниме-персонажей на реальные профили (кросс-стилевая замена) часто завершается неудачей в оригинальной версии; автор утверждает, что объединенная версия побеждает в большинстве его сравнений, а в ComfyUI достаточно просто заменить файл
Рост рейтинга 38 · Лайки 179 · Количество загрузок 316
Обоснование
- Автор утверждает, что оригинальная H3-Image во всех 3 случаях с разными seed сохраняла исходное лицо при замене аниме-персонажа на строгий профильный снимок; в 17 тройных сравнениях (оригинал / отдельная LoRA / объединенная версия) объединенная версия была выбрана 14 раза, отдельная LoRA — 2 раз, оригинал — 1 раз, однако оценку дал только один человек
- 8 сложных случаев (профиль, маленькое лицо, перекрытие, полный рост, несколько людей) и все изображения для слепого тестирования опубликованы в наборе данных akhaliq/h3-image-swap-tests
- Перед объединением проверены 624/624 ключей и форматов; 208/208 целевых тензоров совпадают с результатами подключения LoRA. Скрипт объединения merge/merge_and_validate.py находится в репозитории
Использование
- ComfyUI версии 0.45.0+, пакет шаблонов 0.11.104+: поместите файл minimax_h3_image_character_swap_bf16.safetensors в папку models/diffusion_models; текстовый энкодер и VAE используйте из Comfy-Org/MiniMax-H3-Image. Откройте рабочий процесс замены персонажа из папки comfyui/workflows в репозитории (или официальный шаблон Image Edit); требуется загрузить только два изображения
- Параметры соответствуют шаблону: euler / simple, 6 шагов, CFG 1, denoise 1, разрешение от примерно 4 МП. В промпте сначала опишите сцену, затем персонажа, четко укажите, кого нужно заменить (например, «мужчина во втором слева в желтом свитере»), и пропишите сохранение лица, прически, одежды и сцены
- Для diffusers версии 0.43.0 используйте ModularPipeline для загрузки этого репозитория. Полностью локальный запуск требует примерно 140 ГБ видеопамяти (DiT 66 ГБ + текстовый энкодер 67 ГБ); можно разместить текстовый энкодер на удаленном сервере, оставив на GPU только DiT и VAE. Для регулировки интенсивности используйте отдельную LoRA из папки lora/
Риски
- Не проводилось нового обучения; это лишь объединение ранее полученной LoRA Akatz для замены персонажей с моделью генерации изображений. Исходная LoRA обучалась для видео и была проверена на изображениях только в 8 сложных случаях
- Замена реальных людей затрагивает права на изображение и проблемы дипфейков; используйте только те фотографии, на которые у вас есть права
- Лицензия сообщества MiniMax-H3-Image не распространяется на Европейский союз, Великобританию, Южную Корею и США. Если годовой доход превышает 100 млн долларов или модель предоставляется как хостинг-сервис, необходимо получить письменное разрешение от MiniMax. Данный пункт не был выполнен