원제: Lakonik/pi-H3
스탠퍼드 대학교 Hansheng Chen 등(일부 작업은 Luma AI에서 수행)이 11월 12일에 업로드한 MiniMax H3 저스텝 어댑터로, 텍스트-영상 생성, 첫 프레임, 마지막 프레임 및 첫-마지막 프레임 조건을 지원하며 동시에 동기화된 오디오를 생성합니다. 이 방법은 pi-Flow v2 데이터 없는 저스텝 증류와 DWD(Decoding Without a Decoder, 논문 arXiv 2611.22287)를 결합합니다: 마지막 단계에서는 디노이징 네트워크가 VAE 디코더를 거치지 않고 직접 픽셀을 예측하며, VAE는 첫 프레임과 마지막 프레임 인코딩에만 사용됩니다. 총 4개의 어댑터가 있습니다: 2단계와 4단계 각각에 DWD 버전과 VAE 디코딩을 사용하는 버전이 있으며, DWD 버전에는 ComfyUI 전용 INT8 ConvRot 파일이 추가로 제공됩니다. 저자는 DWD 버전을 권장합니다.
왜 중요한가 H3의 동기화 오디오 포함 영상 생성을 2~4단계로 단축하고 비디오 디코더까지 제거했습니다. 저자는 ComfyUI 워크플로우와 INT8 버전을 제공하여 소비자용 GPU에서도 시도할 수 있습니다.
상승 점수 55 · 좋아요 75 · 다운로드 수 0
이유
- 저자가 ComfyUI 문서에 제시한 속도: 2단계 DWD + INT8 + Sol 희소 어텐션을 사용하여 RTX 3090(CUDA 13)에서 864×480 해상도로 5초 영상은 15.5초, 10초 영상은 37.3초 만에 생성되며, 1344×768 해상도로 5초 영상은 38.5초 만에 생성됩니다(모델이 이미 로드되고 프롬프트가 인코딩된 상태).
- 코드 저장소는 FP8 양자화와 Sol 희소 어텐션을 모두 제공하며, Hugging Face에는 저자의 온라인 데모 Space가 있고, 화질 및 속도 비교는 저자의 블로그에서 확인할 수 있습니다.
- 4개의 어댑터 모두 텍스트, 첫 프레임, 마지막 프레임 조건을 지원하며, 2단계와 4단계 간 전환은 매개변수 하나만 변경하면 됩니다.
사용법
- ComfyUI: ComfyUI-piFlow 노드를 설치하고 pi-H3-DWD.json을 드래그하여 불러옵니다. 기본 모델은 Comfy-Org/MiniMax-H3의 minimax_h3_fl2va_pruned_int8_convrot을 사용하며, 어댑터는 models/loras에 배치하고 pi-H3 Adapter 노드에서 2단계 또는 4단계를 선택합니다.
- diffusers: LakonLab v0.3의 pi-H3 문서를 따라 설치하고, load_lakonlab_adapter를 사용하여 Lakonik/pi-H3의 pi_h3_4step_dwd_adapter를 로드합니다. 첫 프레임과 마지막 프레임은 image= / last_image=를 통해 전달합니다.
- 온라인 체험: https://huggingface.co/spaces/Lakonik/pi-H3
리스크
- 어댑터는 MiniMax H3의 파생 모델로, MiniMax H3 커뮤니티 라이선스에 따라 배포됩니다. 상업적 사용 전 라이선스 조건을 확인하십시오.
- 저자의 LakonLab 코드 또는 ComfyUI-piFlow 커스텀 노드가 필요하며, ComfyUI의 네이티브 기능은 아닙니다. 속도 표는 gpu-unlock이 활성화된 3090에서 저자가 측정한 것이며, 본 항목에서는 실행되지 않았습니다.