Open-H3-Regenerate: H3 초안 영상을 4K로 재생성

Efficient-Large-Model에서 공개한 영상 재생성 도구(코드는 NVlabs/Sana 저장소에 있음): MiniMax-H3로 생성한 768P 초안을 참조 영상으로 Ref2VA 트랜스포머의 컨텍스트에 넣고, 컨텍스트(IC) LoRA를 사용하여 동일한 클립의 1080P, 2K(2560×1440) 또는 4K(3840×2160) 버전을 생성하며, 초안의 얼굴, 입 모양, 텍스트 및 레이아웃을 유지합니다. 기본적으로 잠재 공간 증폭기(latent space amplifier)로 초안을 증폭한 후 HyperFlow 8 스텝 그리드의 마지막 3 스텝을 실행합니다. 4 스텝을 선택하거나, 노이즈에서 시작하여 전체 8 스텝을 실행할 수도 있으며, 모든 경우 CFG는 1입니다. 저장소에는 추론 코드, 다운로드 스크립트 및 LoRA 병합 스크립트가 포함되어 있어 LoRA를 하나만 로드할 수 있는 실행 환경에서도 편리하게 사용할 수 있습니다.

원제: Efficient-Large-Model/Open-H3-Regenerate-2K-IC

Efficient-Large-Model에서 공개한 영상 재생성 도구(코드는 NVlabs/Sana 저장소에 있음): MiniMax-H3로 생성한 768P 초안을 참조 영상으로 Ref2VA 트랜스포머의 컨텍스트에 넣고, 컨텍스트(IC) LoRA를 사용하여 동일한 클립의 1080P, 2K(2560×1440) 또는 4K(3840×2160) 버전을 생성하며, 초안의 얼굴, 입 모양, 텍스트 및 레이아웃을 유지합니다. 기본적으로 잠재 공간 증폭기(latent space amplifier)로 초안을 증폭한 후 HyperFlow 8 스텝 그리드의 마지막 3 스텝을 실행합니다. 4 스텝을 선택하거나, 노이즈에서 시작하여 전체 8 스텝을 실행할 수도 있으며, 모든 경우 CFG는 1입니다. 저장소에는 추론 코드, 다운로드 스크립트 및 LoRA 병합 스크립트가 포함되어 있어 LoRA를 하나만 로드할 수 있는 실행 환경에서도 편리하게 사용할 수 있습니다.

왜 중요한가 먼저 저해상도로 빠르게 컷을 테스트하고, 만족한 후 고화질 최종본을 생성할 수 있으며, 화면 레이아웃과 입 모양이 변하지 않습니다

상승 점수 60 · 좋아요 60 · 다운로드 수 11312

이유

  • '먼저 저화질로 오류를 수정하고, 나중에 고화질로 최종본을 생성하는' 워크플로에 적합합니다. 저자는 프롬프트를 초안 생성 시 사용한 원본 프롬프트를 그대로 사용하거나 비워둘 수 있다고 설명합니다
  • 저장소에는 HyperFlow 8 스텝 LoRA, LMS Sharp 샤프닝 LoRA, 잠재 공간 증폭기 및 빠른 VAE 디코더가 패키징되어 있으며, 다운로드 스크립트를 통해 한 번에 모두 가져올 수 있습니다

사용법

  • pip install -r infer/requirements.txt 실행 후 python infer/download.py --out weights를 실행하고, torchrun으로 infer.py를 실행합니다. --input으로 초안 영상을 지정하고, --caption에 원본 프롬프트를 입력합니다
  • --resolution으로 2k(기본값), 1080p 또는 4k를 선택하고, --sampler로 up3(기본값), up4 또는 hf8를 선택합니다. --jobs에 jsonl 파일을 전달하면 배치 처리가 가능합니다

리스크

  • 예제 명령어는 GPU 8개를 사용하며, 트랜스포머는 1, 2, 4, 7 또는 8개의 카드로 분할할 수 있습니다. 단일 카드의 VRAM 요구 사항은 저자가 명시하지 않았습니다
  • MiniMax H3 커뮤니티 라이선스는 EU, 영국, 한국 및 미국을 포함하지 않습니다. MiniMax 공식 제품이 아니며, LMS Sharp 등 서드파티 구성 요소에는 별도의 약관이 적용됩니다
  • 이 항목은 실행되지 않았으므로, 효과는 프로젝트 페이지를 기준으로 합니다

열기

Hugging Face Trending

최신 AI 소식 보기