Viggle Image Swap: 캐릭터 설정 이미지로 사진 속 인물 교체

Viggle이 공개한 Qwen-Image-2.1 LoRA(rank 256): 사진 속 인물을 캐릭터 설정 이미지의 캐릭터로 전체 교체하며, 얼굴, 머리, 신체, 의상을 모두 변경하고 원본 이미지의 포즈, 표정, 구도, 배경, 조명은 유지합니다. 교체할 인물마다 1536×1024 크기의 설정 이미지(좌측 1/3은 초상, 우측 2/3는 정면, 측면, 후면 3면도)를 준비해야 합니다. 초상 칸에 실제 인물 얼굴 사진을 붙여 넣을 수도 있지만, 단일 사진만으로는 지원되지 않습니다. 기본 설정은 6 스텝이며 CFG를 사용하지 않습니다. --turbo 옵션을 추가하면 앞 2 스텝은 LoRA로 캐릭터를 결정하고, 뒤 6 스텝은 Qwen-Image-2.1-Turbo가 디테일을 보완합니다. 출력 크기는 약 1 MP입니다. 공식적으로 B200 GPU 1장에서 이미지당 약 2.2초, 피크 VRAM 46 GB, turbo 모드에서는 약 4.1초, 55 GB가 소요되는 것으로 측정되었습니다.

원제: Viggle/Viggle-Image-Swap

Viggle이 공개한 Qwen-Image-2.1 LoRA(rank 256): 사진 속 인물을 캐릭터 설정 이미지의 캐릭터로 전체 교체하며, 얼굴, 머리, 신체, 의상을 모두 변경하고 원본 이미지의 포즈, 표정, 구도, 배경, 조명은 유지합니다. 교체할 인물마다 1536×1024 크기의 설정 이미지(좌측 1/3은 초상, 우측 2/3는 정면, 측면, 후면 3면도)를 준비해야 합니다. 초상 칸에 실제 인물 얼굴 사진을 붙여 넣을 수도 있지만, 단일 사진만으로는 지원되지 않습니다. 기본 설정은 6 스텝이며 CFG를 사용하지 않습니다. --turbo 옵션을 추가하면 앞 2 스텝은 LoRA로 캐릭터를 결정하고, 뒤 6 스텝은 Qwen-Image-2.1-Turbo가 디테일을 보완합니다. 출력 크기는 약 1 MP입니다. 공식적으로 B200 GPU 1장에서 이미지당 약 2.2초, 피크 VRAM 46 GB, turbo 모드에서는 약 4.1초, 55 GB가 소요되는 것으로 측정되었습니다.

왜 중요한가 캐릭터 삽입, 광고 및 드라마 장면 리메이크 시 재촬영이 필요 없으며, 한 장의 사진에서 두 명을 동시에 교체할 수 있고 기본 6스텝으로 이미지를 생성합니다

상승 점수 47 · 좋아요 49 · 다운로드 수 2004

이유

  • 한 번에 여러 명을 교체할 수 있으며, 유지할 대상을 지정할 수 있음. swap.py는 인물 위치(왼쪽, 오른쪽, 몇 번째)에 따라 프롬프트를 자동으로 작성함
  • 색상 보정 기능 포함: 변경되지 않은 배경 픽셀을 기준으로 전체 밝기를 원본 이미지 수준으로 복원함

사용법

  • README에 따라 지정된 버전의 transformers, peft 및 고정된 커밋의 diffusers를 설치
  • python inference/swap.py --src scene.png --char sheet.png "man in a green shirt" --out out.png; 여러 명을 교체할 경우 --char를 여러 번 사용하고 --left로 위치를, --kept로 유지할 인물을 지정
  • 더 선명한 디테일을 원하면 --turbo 옵션을 추가(Qwen-Image-2.1-Turbo가 추가로 로드됨)

리스크

  • Qwen Research 라이선스 적용으로 연구 및 평가 용도로만 사용 가능하며, 상업적 사용은 Qwen 팀에 별도로 신청해야 함. --turbo로 로드되는 모델도 동일한 제한을 받음
  • 저자가 명시한 한계점: 새 캐릭터가 원본 인물의 의상을 유지하는 경우가 있으며, 포즈와 구도가 변형될 수 있음. --turbo 모드는 간혹 원본 인물의 액세서리, 의상, 심지어 인물 전체를 다시 가져오는 경우가 있음
  • 실제 인물 이미지 교체에 사용될 수 있으므로, 타인의 초상권을 사용하기 전 허락을 받아야 하며, 게시 시 AI 생성 콘텐츠임을 명시해야 함
  • VRAM 요구 사항이 높음. 본 항목은 실행되지 않았으므로 효과는 모델 카드를 기준으로 함

열기

Hugging Face Trending

최신 AI 소식 보기