MiniMax-H3 プロンプトライター(Ref2VA マルチリファレンスプロンプト書き換え、27B)

LightX2V チームが Qwen3.8-27B をファインチューニングして作成したプロンプトライティングモデルで、MiniMax-H3 のマルチリファレンス生成(Ref2VA)用のプロンプト作成に特化しています。短い要件文、目標時間、番号付きの参考画像・動画・音声を入力すると、添付されている執筆ガイドラインに従って、カット単位の長いプロンプトを出力します。構成は「主体定義」「要約」「リファレンス保持分析」「カット別記述」「環境音」「BGM」の6セクションです。10 月 29 日にアップロードされ、それ以前の号では取り上げられていません。

LightX2V チームが Qwen3.8-27B をファインチューニングして作成したプロンプトライティングモデルで、MiniMax-H3 のマルチリファレンス生成(Ref2VA)用のプロンプト作成に特化しています。短い要件文、目標時間、番号付きの参考画像・動画・音声を入力すると、添付されている執筆ガイドラインに従って、カット単位の長いプロンプトを出力します。構成は「主体定義」「要約」「リファレンス保持分析」「カット別記述」「環境音」「BGM」の6セクションです。10 月 29 日にアップロードされ、それ以前の号では取り上げられていません。

上昇スコア 58 · いいね数 59 · ダウンロード数 12763

理由

  • MiniMax-H3 のリファレンスモードでは、「画像 1 に写っている人物」「動画 2 の構造」「音声 1 をBGMとして使用」といった関係を明確に記述する必要がありますが、このモデルはガイドラインに従い、<Subject N>、<Picture N>、<Video N>、<Audio N> といったタグを含む構造化プロンプトを自動生成するため、手作業での作成が不要になります。
  • リポジトリには完全な vLLM サーバースクリプト、呼び出しスクリプト、執筆ガイドライン(VIDEO_PROMPT_WRITING_GUIDE_ref_en.md)が含まれており、例として2人の握手、2つの動画の合成、画像内の人物が音楽に合わせてダンスするシーンなどがカバーされています。
  • 同チームはさらに 9B バージョン(Qwen3.5-9B ベース)や、テキストのみまたは最初と最後のフレームのみを使用する FL2VA バージョンも公開しています。

使い方

  • pip install vllm requests pillow qwen-vl-utils を実行し、vllm_server.sh 内の MODEL_PATH を設定してから bash vllm_server.sh を起動します(デフォルトは単一GPU、コンテキスト長 32768、思考モード有効)。参考動画を使用する場合は ffmpeg と ffprobe のインストールが必要です。
  • post_vllm.sh 内で PROMPT、DURATION および IMAGES / VIDEOS / AUDIOS の絶対パスを指定し、プロンプト内では image 1、video 1、audio 1 という形式で番号に対応付けます。その後 bash post_vllm.sh を実行すると、結果は infer_outputs/result.json に出力されます。--dry_run オプションを付与するとリクエストの生成のみを行い、API呼び出しは行いません。
  • 出力されたプロンプトを、自身の MiniMax-H3 Ref2VA ワークフローに貼り付けて使用します。

リスク

  • モデルカードが非常に簡素です。ライセンスの記載がなく、書き換え前後の生成結果比較や評価データも存在しないため、本欄では書き換え品質を判断できません。
  • BF16 重みは約 55 GB で、例示は単一GPUでの実行を前提としており、大容量のVRAMを持つGPUが必要です。VRAMが不足する場合は 9B バージョンを検討してください(本欄では同バージョンのモデルカード冒頭のみを確認しています)。
  • 参考音声はタグのみで渡され、モデルは音声の内容を認識しません。参考動画は各セグメントから 8 フレームのみを抽出します。

開く

Hugging Face Trending

最新の AI ニュースを見る