LightX2V 团队用 Qwen3.8-27B 微调的提示词改写模型,专门给 MiniMax-H3 的多参考生成(Ref2VA)写提示词:输入一句简短需求、目标时长和编号的参考图、参考视频、参考音频,它按附带的写作指南输出分镜级长提示词,分主体定义、摘要、参考保留分析、逐镜头描述、环境音、背景音乐六节。10 月 29 日上传,此前各期没有收录。
上升分 58 · 点赞 59 · 下载量 12763
理由
- MiniMax-H3 的参考模式要写清“图 1 里的人”“视频 2 的结构”“音频 1 当背景乐”这类关系,这个模型按指南自动生成带 <Subject N>、<Picture N>、<Video N>、<Audio N> 标签的结构化提示词,省掉手写。
- 仓库附完整的 vLLM 服务脚本、调用脚本和写作指南(VIDEO_PROMPT_WRITING_GUIDE_ref_en.md),示例覆盖两人握手、两段视频合成一段、图中人物跟着音乐跳舞等。
- 同一团队还发了 9B 版(Qwen3.5-9B)和只用文字或首尾帧的 FL2VA 版。
用法
- pip install vllm requests pillow qwen-vl-utils,在 vllm_server.sh 里设好 MODEL_PATH 后运行 bash vllm_server.sh(默认单卡、32768 上下文、开思考);用参考视频要装 ffmpeg 和 ffprobe。
- 在 post_vllm.sh 里填 PROMPT、DURATION 和 IMAGES / VIDEOS / AUDIOS 的绝对路径,提示里用 image 1、video 1、audio 1 对应编号,然后 bash post_vllm.sh,结果在 infer_outputs/result.json;加 --dry_run 只生成请求不调用。
- 把输出的提示词贴进自己的 MiniMax-H3 Ref2VA 流程。
风险
- 模型卡很简短:没写许可证,也没有改写前后的生成对比或任何评测,改写质量本栏目无法判断。
- BF16 权重约 55 GB,示例是单卡运行,需要大显存显卡;显存不够可以看 9B 版(本栏目只看了它的模型卡开头)。
- 参考音频只按标签传,模型不听音频内容;参考视频每段只抽 8 帧。