Akatz Labs가 MiniMax-H3 다중 참조 모드(Ref2VA)용으로 학습한 캐릭터 교체 LoRA입니다. 원본 비디오와 캐릭터 이미지를 입력하면 비디오 내 지정된 인물을 이미지 속 캐릭터로 교체하되, 원본의 자세, 시선, 표정, 동작을 따르고 배경 및 다른 인물들은 유지합니다. 9월 25일 V1가 처음 공개되었고, 10월 16일 V1.5(권장 버전)이 공개되었으며, 10월 17일에는 공동 저자의 H3 Relay 2.0과 연동되는 네이티브 ComfyUI 워크플로우가 추가되었습니다. 최근 7기간 동안은 등재되지 않았습니다.
상승 점수 57 · 좋아요 704 · 다운로드 수 137211
이유
- '연기는 유지하고 배우만 교체'하는 요구를 해결합니다. 프롬프트에서 \u003cVideo 1\u003e로 원본 비디오를, \u003cPicture 1\u003e로 캐릭터 이미지를 지칭하고 교체할 대상(예: '보라색 셔츠를 입은 남자')을 명확히 지정하면 됩니다. 저자는 별도의 트리거 워드를 학습하지 않았다고 설명합니다.
- V1.5은 V1에서 출발하여 1,000스텝을 추가 학습했으며, 모션 비디오 타겟과 얼굴 크롭을 도입했습니다. 저자는 V1 / V1.5 비교 영상을 공개하며, V1.5이 스타일화된 얼굴, 헤어스타일, 캐릭터 정체성을 더 잘 보존한다고 주장하지만, 이는 선별된 예시일 뿐 전체적인 평가가 아님을 명시했습니다.
- 학습 과정이 공개되어 있습니다: V1 데이터셋 akatz-ai/H3-Character-Swap-v1와 V1.5의 run-summary.json(랭크 16, 학습률 1e-5, 시작 파일 해시)이 모두 저장소에 포함되어 있습니다. V1.5 파일 크기는 약 155MB입니다.
사용법
- ComfyUI: H3 Ref2VA 기본 모델, 텍스트 인코더, VAE를 별도로 준비하고, h3_character_swap_v1.5.safetensors 파일을 LoRA 디렉터리에 넣은 뒤 model-only LoRA 로더를 사용하여 강도 1.0로 로드합니다. V1.5은 V1를 대체하는 용도이므로 두 버전을 함께 겹쳐 사용하지 마세요.
- 저자가 테스트한 레시피: Ref2VA INT8 기본 모델 + 본 LoRA 강도 1.0 + 별도의 minimax_h3_fl2v_turbo_8step_v1.0_768p 가속 LoRA 강도 1.0, 8스텝, CFG 1, 샘플러 er_sde, 스케줄러 normal; 24fps, 짧은 연속 샷부터 시작하세요(저자의 V1 테스트에서는 4–5초가 14초보다 더 안정적이었습니다).
- 마스크 처리, 긴 클립 이어붙이기, 원본 오디오 보존이 필요할 경우 저자의 H3 Relay 2.0을 설치하고, 저장소의 examples 폴더에 있는 H3-Character-Swap-Relay-V2 워크플로우를 사용하세요.
리스크
- 저자는 실험적 모델임을 스스로 밝히고 있습니다: 캐릭터 정체성, 동작 타이밍, 표정, 가림 처리, 하드 컷 장면에서 모두 드리프트가 발생할 수 있습니다. V1 학습에는 94개의 합성된 이미지 편집 샘플만 사용되었으며, 다중 인물 교체는 별도로 학습되지 않았습니다. 본 칼럼에서는 비교 영상을 직접 확인하지 않았습니다.
- 최종 영상에 포함된 원본 오디오는 도구가 후반 작업에서 직접 복사해 넣은 것으로, LoRA가 오디오를 복원할 수 있다는 의미도 아니며 립싱크 어긋남을 수정할 수 있다는 의미도 아닙니다.
- 실제 인물 교체는 초상권 및 딥페이크 위험과 관련되므로, 사용 권한이 있는 비디오와 캐릭터 이미지만 사용하세요. 라이선스는 MiniMax H3 커뮤니티 라이선스(Apache가 아님)이며, 저자는 기본 라이선스가 미국, EU, 영국, 한국을 커버하지 않는다고 경고합니다. 상업적 사용이나 해당 지역에서의 사용 전에는 원본 약관을 반드시 확인하세요.