Viggle Remake: 한 문장으로 전체 영상을 다시 촬영

Viggle은 MiniMax-H3 기본 트랜스포머 위에 학습된 두 가지 LoRA(랭크 256)를 사용합니다. swap 모드는 인물과 캐릭터를 교체하며 한 번에 여러 개를 바꿀 수 있고, edit 모드는 그 외의 변경 사항, 즉 물체 교체·삭제·삽입 및 배경, 날씨 또는 조명 변경을 담당합니다. 입력은 원본 영상, 미리 그려진 1–4장의 키프레임(원본 영상의 해당 프레임에 고정 가능) 그리고 MiniMax-H3의 6단 형식 프롬프트이며, 출력은 원본 영상의 동작, 카메라 워크, 리듬 및 원본 사운드를 유지합니다. 공식적으로 이는 Viggle-Animate 카드에서 예고된 v2라고 명시되어 있습니다. Animate는 캐릭터만 교체하지만 Remake는 물체와 장면도 변경할 수 있습니다. 저장소에는 MCP 서비스가 포함되어 있으며, Claude Code, codex 등의 에이전트는 영상과 한 문장을 받으면 자동으로 컷을 분할하고, 키프레임을 그리며, 윈도우별로 렌더링하고, 결과를 자체 검증한 후 원본 사운드와 결합하여 완성된 영상을 만듭니다.

원제: Viggle/Viggle-Remake

Viggle은 MiniMax-H3 기본 트랜스포머 위에 학습된 두 가지 LoRA(랭크 256)를 사용합니다. swap 모드는 인물과 캐릭터를 교체하며 한 번에 여러 개를 바꿀 수 있고, edit 모드는 그 외의 변경 사항, 즉 물체 교체·삭제·삽입 및 배경, 날씨 또는 조명 변경을 담당합니다. 입력은 원본 영상, 미리 그려진 1–4장의 키프레임(원본 영상의 해당 프레임에 고정 가능) 그리고 MiniMax-H3의 6단 형식 프롬프트이며, 출력은 원본 영상의 동작, 카메라 워크, 리듬 및 원본 사운드를 유지합니다. 공식적으로 이는 Viggle-Animate 카드에서 예고된 v2라고 명시되어 있습니다. Animate는 캐릭터만 교체하지만 Remake는 물체와 장면도 변경할 수 있습니다. 저장소에는 MCP 서비스가 포함되어 있으며, Claude Code, codex 등의 에이전트는 영상과 한 문장을 받으면 자동으로 컷을 분할하고, 키프레임을 그리며, 윈도우별로 렌더링하고, 결과를 자체 검증한 후 원본 사운드와 결합하여 완성된 영상을 만듭니다.

왜 중요한가 캐릭터 교체뿐만 아니라 물체 추가·삭제, 장면 및 조명 변경도 가능하며, MCP 서비스가 함께 제공됩니다. 프로그래밍 에이전트가 자동으로 컷을 분할하고, 키프레임을 그리며, 전체 영상을 조립할 수 있습니다.

상승 점수 208 · 좋아요 374 · 다운로드 수 183188

이유

  • 공식 예시에는 영화 '라라랜드'의 한 컷을 22가지 버전으로 변형한 것과, 116초 길이이며 편집 지점이 69개인 전체 뮤직비디오의 캐릭터를 교체한 것이 포함됩니다. 더 긴 영상은 편집 지점을 기준으로 윈도우로 나누어 각각 렌더링합니다.
  • GPU 사양에 따른 경로가 제시되었습니다: GPU가 없으면 Viggle 앱을 사용하세요. 12–24GB GPU에서는 ComfyUI의 int8 / GGUF 파일을 사용하여 워크플로우를 수동으로 실행합니다. 32GB(RTX 5090)에서는 에이전트와 ComfyUI 렌더링 엔드를 실행할 수 있으며, 공식적으로 1280×736 해상도, 345 프레임당 윈도우 하나에 약 28분이 소요된다고 합니다. 80GB 이상의 GPU에서는 참고 스크립트 sample.py를 사용하세요.
  • 또한 랭크 128 / 64의 소형 LoRA(1.34 / 0.67GB)도 제공되며, 공식적으로 출력 결과가 거의 동일하다고 합니다. examples/demo.sh를 통해 LoRA가 실제로 로드되었는지 확인할 수 있습니다.

사용법

  • 먼저 MiniMaxAI/MiniMax-H3 기본 모델(약 144GB 파일)과 이 저장소의 lora/, inference/ 등의 디렉토리(약 5.5GB)를 다운로드하세요. 전체 저장소를 git clone하지 마세요(전체 가중치 포함 약 210GB).
  • 수동 실행: python inference/sample.py --mode swap(또는 edit) --video 원본영상 --prompt 프롬프트 --ref 키프레임 --pin 프레임번호 --frames 124 --short-edge 480; 프레임 수는 17n+5 형식이어야 하며, 공식 권장 최대치는 294입니다.
  • 에이전트 사용: mcp/ 디렉토리만 다운로드하고, pip install -e .로 서버를 설치하세요. GPU 머신에서는 워커도 추가로 설치해야 합니다. 프롬프트 작성 방법은 PROMPTING.md를 참조하세요.

리스크

  • 실제 인물의 외모를 상대방의 동의 없이 영상에 포함시킬 수 있으며, 모델 자체는 신원이나 라이선스 확인을 수행하지 않습니다. 공식적으로는 수정 권한이 있는 자료에만 사용하고 AI 생성임을 표기하도록 요구합니다.
  • 가중치는 MiniMax H3의 파생 모델이며, 상업적 사용 시 인터페이스에 'MiniMax H3'를 눈에 띄게 표기해야 합니다. 연 매출이 2000만 달러를 초과할 경우 MiniMax로부터 사전 서면 허가를 받아야 합니다. 예시에 포함된 영화 클립의 저작권은 원본 소유자에게 있습니다.
  • 단일 렌더링에는 약 12초가 소요됩니다. 6단 형식 프롬프트를 반드시 사용해야 합니다. 비인간형 캐릭터의 롱샷, 세부적인 작은 결함, 프레임을 고정하지 않은 경우의 다중 컷 드리프트는 공식적으로 알려진 문제입니다. 이 항목은 실행되지 않았습니다.

열기

Hugging Face Trending

최신 AI 소식 보기