Pika H3 Flex: 6단계로 사운드가 포함된 영상 생성, 여러 참고 이미지 사용 가능

Pika가 MiniMax-H3 모델에 대해 후학습한 LoRA 어댑터 세트로, 동기화된 스테레오 사운드가 포함된 영상을 생성하며 공식적으로 6단계 샘플링만으로 결과물을 얻을 수 있다고 합니다. 두 가지 어댑터로 구성됩니다: FL2VA는 텍스트-영상 생성 및 첫 프레임, 마지막 프레임, 첫/마지막 프레임 제어를 담당하고; Ref2VA는 멀티모달 참고 기능을 담당하며 최대 9장의 이미지, 3개의 영상 클립, 3개의 오디오 클립을 포함해 총 12개의 참고 파일을 지원합니다. 로컬 오픈소스 추론은 네이티브로 480p / 768p 해상도, 24 fps 프레임 속도, 5–15초 길이를 출력하며 11가지 화면 비율을 지원합니다; 1080p에서 4K까지의 해상도, 트랙별 오디오 분리 및 프롬프트 강화 기능은 Pika의 호스팅 API에서만 제공됩니다.

원제: Pika-Labs/Pika-H3-Flex

Pika가 MiniMax-H3 모델에 대해 후학습한 LoRA 어댑터 세트로, 동기화된 스테레오 사운드가 포함된 영상을 생성하며 공식적으로 6단계 샘플링만으로 결과물을 얻을 수 있다고 합니다. 두 가지 어댑터로 구성됩니다: FL2VA는 텍스트-영상 생성 및 첫 프레임, 마지막 프레임, 첫/마지막 프레임 제어를 담당하고; Ref2VA는 멀티모달 참고 기능을 담당하며 최대 9장의 이미지, 3개의 영상 클립, 3개의 오디오 클립을 포함해 총 12개의 참고 파일을 지원합니다. 로컬 오픈소스 추론은 네이티브로 480p / 768p 해상도, 24 fps 프레임 속도, 5–15초 길이를 출력하며 11가지 화면 비율을 지원합니다; 1080p에서 4K까지의 해상도, 트랙별 오디오 분리 및 프롬프트 강화 기능은 Pika의 호스팅 API에서만 제공됩니다.

왜 중요한가 오픈 웨이트로 로컬 실행이 가능하며, ComfyUI에 공식 워크플로우가 있어 멀티샷 단편 영화, 제품 영상 및 참고 이미지를 활용한 애니메이션 제작에 적합합니다

상승 점수 151 · 좋아요 528 · 다운로드 수 1083

이유

  • 하나의 모델로 화면과 사운드(환경음, 대사, 배경음악)를 동시에 생성하므로 별도의 오디오 모델을 연결할 필요가 없습니다
  • 첫/마지막 프레임 제어와 다중 참고 이미지 제어 두 가지 방식을 지원하며, 저자가 나열한 용도는 멀티샷 내러티브, 모션 그래픽, 제품 영상 및 참고 이미지를 활용한 애니메이션입니다
  • ComfyUI에 공식 튜토리얼과 R2V, FL2VA, T2V 세 가지 워크플로우 템플릿이 이미 있으며, 저장소에는 Comfy 형식의 BF16 LoRA가 포함되어 있습니다

사용법

  • GitHub 저장소 Pika-Labs/Pika-H3-Flex를 클론하고 pip / Conda / Docker 빠른 시작 가이드에 따라 설치한 후, pika-h3-pro 명령어를 사용하여 t2va, i2va, l2va, fl2va 또는 ref2va 작업을 선택합니다
  • ComfyUI: comfy/loras/ 폴더의 LoRA를 MiniMax-H3 기본 모델과 함께 사용하고 공식 Pika H3 Flex 워크플로우 템플릿을 적용합니다
  • 프롬프트는 공식 가이드에 따라 시간 구간별로 카메라 움직임, 동작, 대사 및 소리를 작성합니다

리스크

  • 어댑터는 MiniMax H3 커뮤니티 라이선스로 배포되므로 상업적 사용 전 약관을 확인해야 합니다
  • 기본 모델 구성 요소의 총 용량은 약 210 GB이며, 공식적으로 H100 80GB 환경에서의 테스트 결과만 제공되어 대용량 요청 시 CPU 오프로드를 활성화해야 할 수 있습니다
  • 데모 영상은 창의적인 예시일 뿐이며, 공식 문서에서는 배포된 패키지로 정확히 재현될 것이라고 보장하지 않습니다
  • 이 항목은 실행되지 않았으므로 효과는 모델 카드를 기준으로 합니다

열기

Hugging Face Trending

최신 AI 소식 보기