원제: Efficient-Large-Model/Open-H3-Regenerate-2K
NVIDIA(NVlabs Sana / SoL-Engine)가 폐쇄형 H3-Regenerate-2K API를 위한 오픈 소스 대안으로 공개한 프로젝트입니다. MiniMax-H3의 768P 초안(1344×768, 121 프레임)을 잠재 공간(latent space)에서 2배로 업스케일링한 후, MiniMax-H3에 병합된 LoRA를 적용하여 3단계 디노이징(denoising)을 수행하고 2560×1440 영상을 출력합니다. 코드는 추가로 1080p 지원 및 2단계 업스케일링을 통해 4K까지 확장하는 기능도 제공합니다. 병합된 LoRA는 세 가지 어댑터를 랭크(rank) 기준으로 연결하여 구성됩니다: Open-H3 리파이너(rank 384), LightX2V FL2VA Turbo v1.2(rank 128) 및 LMS Sharp v1.0(rank 64). 저자는 세 어댑터를 개별적으로 적용하는 것과 비교할 때, 전체 312개의 선형 레이어(linear layer)에서 상대 오차가 2.2e-8에 불과하다고 주장합니다. 저장소에는 저자의 3D 컨볼루션 잠재 공간 업스케일러, StreamRender-H3에서 증류(distillation)된 고속 VAE 디코더(1.62B 파라미터) 및 수정되지 않은 MiniMax-H3 기본 모델 사본이 포함되어 있습니다. 10월 26일에 저장소가 생성되었으며, 이전 호에서는 다루지 않았습니다.
상승 점수 79 · 좋아요 223 · 다운로드 수 562558
이유
- "먼저 저해상도로 빠르게 영상을 생성하고, 마음에 들면 2K로 출력한다"는 요구 사항을 해결하며, 폐쇄형 API에 비용을 지불할 필요가 없습니다. 입력으로 H3 초안 영상, 기존 H3 잠재 변수(latent variable)를 사용할 수 있으며, --hyperflow 옵션을 추가하여 프롬프트 한 줄에서 768P 초안을 먼저 생성한 후 리파인(refine)하는 것도 가능합니다.
- 공식적으로 단일 B200 GPU에서 5초 분량의 클립을 768P 잠재 변수에서 2560×1440으로 변환하는 경우를 설명합니다. 원본의 밀집 어텐션(dense attention) BF16 방식은 총 87.26초가 소요됩니다. Sol-Attn 희소 어텐션(sparse attention), MXFP8 및 CUDA Graph를 적용하면 37.39초(2.33배)로 단축됩니다. 추가로 고속 VAE 디코더(디코딩 시간이 15초에서 1.6초로 감소)를 적용하면 총 22.45초(3.89배)가 소요됩니다. 코드 README에는 각 최적화가 얼마나 기여했는지 항목별로 나열되어 있습니다.
- 주목할 만한 다운로드 수 562558, 좋아요 223(단순히 관심도를 나타냄).
사용법
- 코드는 GitHub의 NVlabs/Sana 저장소 sol-engine 브랜치 내 models/Open-H3-Regenerate-2K에 있습니다. Linux, Python 3.11, PyTorch 2.11 + CUDA 13.0 환경이 필요하며, pip install -r requirements.txt를 실행한 후, pip install -e ../../techniques/sparse_backends(Sol-Attn, 전방 추론 가속을 위해 필요)를 설치합니다. python download.py --weights ./weights --hyperflow를 실행하여 모든 가중치를 다운로드합니다.
- 기존 초안이 있는 경우: python infer.py --weights ./weights --input-video draft.mp4 --prompt "…" --output out.mp4를 실행합니다. 프롬프트만 있는 경우: --hyperflow를 추가합니다. 가장 빠른 속도를 원하면 --fwd sol_engine_fast를, 원본 출력과 가장 유사한 결과를 원하면 기본값인 sol_engine 또는 --fwd standard를 사용합니다. --resolution 옵션으로 768p / 1080p / 2k / 4k를 선택할 수 있으며, --steps 2을 2단계로 변경할 수 있습니다.
- 자체 파이프라인에 통합할 때의 샘플링 설정: 3단계 Euler 샘플러, sigmas [0.909375, 0.857143, 0.666667, 0], CFG 1.
리스크
- 속도 수치는 모두 B200 / GB200에서 측정되었습니다. MXFP8 및 Sol-Attn은 특정 GPU 및 소프트웨어 스택을 요구합니다. 저자는 소비자용 GPU에 대한 데이터를 제공하지 않았으며, ComfyUI 워크플로우도 없습니다.
- 새로운 잠재 변수 형식에 처음 encountering할 경우 엔진을 빌드하고 CUDA Graph를 기록해야 합니다(약 39초 소요). sol_engine_fast가 더 빠르지만, 저자는 원본 출력과 디테일 측면에서 차이가 더 크다고 언급합니다.
- 라이선스가 혼합되어 있습니다: 리파인 LoRA, 고속 VAE 및 기본 모델 사본은 MiniMax H3 커뮤니티 라이선스(지역, 용도 및 재배포 조건 포함)를 따르며, 병합된 LightX2V Turbo, LMS Sharp 및 잠재 공간 업스케일러는 각각 원래 라이선스를 따릅니다. 통합된 단일 라이선스는 없습니다.