LightX2V 팀이 Qwen3.8-27B를 미세 조정하여 만든 프롬프트 재작성 모델로, MiniMax-H3의 다중 참조 생성(Ref2VA)용 프롬프트 작성에 특화되었습니다. 짧은 요구 사항, 목표 길이, 번호가 매겨진 참조 이미지, 참조 비디오, 참조 오디오를 입력하면 동봉된 작성 가이드에 따라 스토리보드 수준의 긴 프롬프트를 출력하며, 이는 주체 정의, 요약, 참조 보존 분석, 컷별 설명, 환경음, 배경 음악의 6개 섹션으로 구성됩니다. 10월 29일에 업로드되었으며 이전 호에서는 다루지 않았습니다.
상승 점수 58 · 좋아요 59 · 다운로드 수 12763
이유
- MiniMax-H3의 참조 모드에서는 "이미지 1 속 인물", "비디오 2의 구조", "오디오 1를 배경 음악으로 사용"과 같은 관계를 명확히 해야 하는데, 이 모델은 가이드에 따라 <Subject N>, <Picture N>, <Video N>, <Audio N> 태그가 포함된 구조화된 프롬프트를 자동으로 생성하여 수작업을 생략할 수 있게 합니다.
- 저장소에는 완전한 vLLM 서비스 스크립트, 호출 스크립트 및 작성 가이드(VIDEO_PROMPT_WRITING_GUIDE_ref_en.md)가 포함되어 있으며, 예제는 두 사람 악수, 두 비디오를 하나로 합성, 이미지 속 인물이 음악에 맞춰 춤추는 경우 등을 다룹니다.
- 같은 팀은 9B 버전(Qwen3.5-9B)과 텍스트 또는 첫/마지막 프레임만 사용하는 FL2VA 버전도 공개했습니다.
사용법
- pip install vllm requests pillow qwen-vl-utils를 실행하고, vllm_server.sh에서 MODEL_PATH를 설정한 후 bash vllm_server.sh를 실행합니다(기본값은 단일 GPU, 32768 컨텍스트, 사고 모드 활성화). 참조 비디오를 사용하려면 ffmpeg과 ffprobe를 설치해야 합니다.
- post_vllm.sh에서 PROMPT, DURATION 및 IMAGES / VIDEOS / AUDIOS의 절대 경로를 입력하고, 프롬프트 내에서 image 1, video 1, audio 1로 번호에 대응시킨 후 bash post_vllm.sh를 실행하면 결과는 infer_outputs/result.json에 저장됩니다. --dry_run을 추가하면 요청만 생성하고 호출하지 않습니다.
- 출력된 프롬프트를 자신의 MiniMax-H3 Ref2VA 워크플로에 붙여넣습니다.
리스크
- 모델 카드가 매우 간결합니다: 라이선스가 명시되지 않았으며, 재작성 전후의 생성 비교나 평가 데이터도 없어 이 칼럼에서는 재작성 품질을 판단할 수 없습니다.
- BF16 가중치는 약 55GB이며 예제는 단일 GPU에서 실행되므로 대용량 VRAM 그래픽 카드가 필요합니다. VRAM이 부족하다면 9B 버전을 참고하세요(이 칼럼에서는 해당 모델 카드의 시작 부분만 확인했습니다).
- 참조 오디오는 태그로만 전달되며 모델은 오디오 내용을 듣지 않습니다. 참조 비디오는 각 세그먼트당 8프레임만 추출합니다.