원제: akhaliq/MiniMax-H3-Image-Character-Swap
akhaliq 11월 14일 업로드: Akatz Labs의 MiniMax-H3 캐릭터 교체 LoRA v1.5(랭크 16, DiT 블록 50개 및 토큰 리파이너 블록 2개 커버)를 강도 1.0로 MiniMaxAI/MiniMax-H3-Image의 DiT에 직접 병합하여 더 이상 LoRA를 로드할 필요가 없습니다. 사용법은 장면 사진을 <Picture 1>로, 캐릭터 참조 이미지를 <Picture 2>로 지정하고 교체할 대상을 명확히 서술하면, 모델이 인물을 교체하면서 배경, 조명, 다른 사람들 및 원래 포즈는 유지합니다. 저장소에는 diffusers 버전, ComfyUI 레이아웃의 병합 체크포인트(40 GB), 원본 LoRA(155 MB) 및 변환된 diffusers LoRA(173 MB)가 함께 제공됩니다. 라이선스는 MiniMax-H3-Image 커뮤니티 라이선스를 따릅니다.
왜 중요한가 만화 캐릭터를 실사 측면 얼굴로 교체하는 것과 같은 스타일 간 교체는 원본 버전에서 실패하는 경우가 많았습니다. 저자는 병합 버전이 자신의 비교 테스트에서 대부분 더 나은 결과를 보였으며, ComfyUI에서는 파일만 교체하면 된다고 주장합니다.
상승 점수 38 · 좋아요 179 · 다운로드 수 316
이유
- 저자는 원본 H3-Image가 만화 캐릭터를 엄격한 측면 얼굴 사진으로 교체할 때 3개의 시드 모두에서 원래 얼굴이 유지되었다고 주장합니다. 17개의 3자 비교(원본 / 개별 LoRA / 병합 버전)에서 병합 버전이 14회, 개별 LoRA가 2회, 원본이 1회 선택되었지만, 이는 단 한 명의 평가자만 표기한 결과입니다.
- 어려운 사례 8개(측면 얼굴, 작은 얼굴, 가려진 얼굴, 전신, 다중 인물)와 모든 블라인드 평가 이미지는 데이터셋 akhaliq/h3-image-swap-tests에 공개되어 있습니다.
- 병합 전 624/624개의 키와 형태를 확인하고, 208/208개의 대상 텐서가 LoRA 로드 결과와 일치함을 검증했으며, 병합 스크립트 merge/merge_and_validate.py는 저장소에 포함되어 있습니다.
사용법
- ComfyUI 0.45.0 이상, 템플릿 패키지 0.11.104 이상: minimax_h3_image_character_swap_bf16.safetensors 파일을 models/diffusion_models에 배치하고, 텍스트 인코더와 VAE는 Comfy-Org/MiniMax-H3-Image의 것을 사용하세요. 저장소의 comfyui/workflows에 있는 캐릭터 교체 워크플로(또는 공식 Image Edit 템플릿)를 열면 두 장의 이미지만 로드하면 됩니다.
- 매개변수는 템플릿을 따릅니다: euler / simple, 6 단계, CFG 1, denoise 1, 약 4 MP에서 시작하세요. 프롬프트는 먼저 장면을 설명한 후 캐릭터를 설명하고, 교체할 인물(예: "노란 스웨터를 입은 왼쪽 두 번째 남자")을 명시하며, 얼굴, 헤어스타일, 의상 및 장면은 유지하도록 지정하세요.
- diffusers 0.43.0에서는 ModularPipeline을 사용하여 이 저장소를 로드합니다. 완전 로컬 실행에는 약 140 GB의 VRAM이 필요합니다(DiT 66 GB + 텍스트 인코더 67 GB). 텍스트 인코더를 원격으로 배치하고 DiT와 VAE만 GPU에 로드할 수 있습니다. 강도를 조정하려면 lora/ 폴더에 있는 개별 LoRA를 사용하세요.
리스크
- 새로운 학습이 없으며, 이전 호에서 이미 수집된 Akatz 캐릭터 교체 LoRA를 이미지 모델에 병합한 것뿐입니다. LoRA는 원래 비디오용으로 학습되었으며, 이미지에서는 8개의 어려운 사례에서만 검증되었습니다.
- 실제 인물 교체는 초상권 및 딥페이크와 관련되므로, 사용 권한이 있는 이미지만 사용하세요.
- MiniMax-H3-Image 커뮤니티 라이선스의 적용 지역에는 EU, 영국, 한국 및 미국이 포함되지 않습니다. 연 매출이 100만 달러를 초과하거나 호스팅 서비스로 제공하는 경우, MiniMax의 서면 허가를 먼저 받아야 합니다. 이 항목은 실행되지 않았습니다.