오픈소스 비디오 캐릭터/객체 교체 도구: 비디오와 캐릭터 사진을 드래그하여 넣으면, 비디오 속 주요 인물을 내 캐릭터로 교체할 수 있으며 카메라 앵글, 편집, 동작, 원본 오디오는 그대로 유지됩니다. 또한 헤어스타일이나 의상만 교체하거나, 특정 객체를 제거하거나, 배경을 변경하는 것도 가능하며, 모든 작업은 오픈 웨이트를 사용하여 자신의 GPU에서 실행됩니다.
스타 수 627 (+265 / 24h)
이유
- Next.js 프론트엔드가 ComfyUI 워크플로우 위에 구축되어 있습니다: SAM 3.1가 샷별로 인물을 추적하여 원본 인물을 회색 마네킹으로 변환하고, MiniMax H3가 이를 참조하여 움직이도록 하며, 마스크 영역만 다시 그립니다. Qwen3-VL 8B는 화면 설명 및 프롬프트 작성을 담당합니다(4B 또는 Gemma 4 E2B로 교체 가능).
- 모드: 단일 인물 교체, 1–4인물을 캐릭터별로 할당하는 고급 교체(하드 컷 없이 인물을 교체하는 Montage 페이지 포함), 객체 교체/삭제/추가/배경 변경, '이미지에서' 모드는 FLUX를 사용하여 먼저 포즈를 잡은 후 비디오를 생성하고 조명 재설정도 가능. 후처리로는 작은 얼굴 보정 및 H3의 색조 부드럽게 처리 기능이 있음.
- 제출 전 ComfyUI의 노드 및 모델 목록과 대조하여 누락된 항목을 확인하고 설치 링크를 제공합니다. Check mask 기능은 SAM과 마스크만 실행하여 프레임별로 다시 그려질 부분을 미리 볼 수 있습니다.
사용법
- NVIDIA GPU 필요(저자는 RTX 4060 Ti 16 GB + 64 GB RAM에서 테스트), ComfyUI 0.41.2 이상, Node.js 22.6 이상 필요. README에 따라 12개의 커스텀 노드 패키지, H3 프루닝 INT8 모델, DMAD 가속 LoRA, SAM 3.1 등의 파일을 설치합니다.
- Windows에서는 start_openjutsu.bat를 더블 클릭합니다. 다른 시스템에서는 먼저 ComfyUI를 실행하고(Windows의 경우 AIOHTTP_NOSENDFILE=1 설정), comfy-api-proxy==0.1.6를 설치한 후 저장소의 patch_proxy.py로 패치하며, npm ci, npm run build, npm start를 실행한 뒤 127.0.0.1:3000을 엽니다.
- 기본값은 736p, 6 스텝입니다. 저자에 따르면 4060 Ti에서 480p 해상도의 6초 클립은 약 6–13분 소요되며, 1080p는 736p보다 약 2.5배 느립니다.
리스크
- 실제 인물을 사진 속 임의의 인물로 교체할 수 있으므로, 타인의 초상 사용 시 사전에 동의를 얻어야 합니다. 거울이나 반사면에 비친 인물은 현재 교체되지 않으며, H3는 반사된 이미지에서 원본 인물의 모습을 다시 가져올 수 있습니다.
- 얼굴 보정에 의존하는 InsightFace buffalo_l은 비영리 연구 용도로만 허용되며, Bingsu/adetailer의 YOLO 가중치는 AGPL-3.0 라이선스입니다. Comfy 클라우드 플랫폼 배포 절차는 저자가 아직 테스트하지 않았습니다. 코드는 MIT 라이선스이며, 저장소는 10월 26일에 생성되었고 스타 수가 빠르게 증가하고 있어 README를 확인하는 것이 일반적인 도구 저장소임을 나타냅니다.