Modèle de réécriture de prompts affiné par l'équipe LightX2V à partir de Qwen3.8-27B, conçu spécifiquement pour générer des prompts destinés à la génération multi-références (Ref2VA) de MiniMax-H3 : à partir d'une brève description, de la durée cible et de références numérotées (images, vidéos, audios), il produit, selon les directives de rédaction jointes, un prompt long structuré par plans, divisé en six sections : définition des sujets, résumé, analyse de la préservation des références, description plan par plan, ambiance sonore et musique de fond. Mis en ligne le 29 10, absent des numéros précédents.
Score de progression 58 · J'aime 59 · Téléchargements 12763
Raisons
- Le mode de référence de MiniMax-H3 nécessite de préciser clairement les relations telles que « la personne dans l'image 1 », « la structure de la vidéo 2 » ou « l'audio 1 comme musique de fond ». Ce modèle génère automatiquement, selon les directives, des prompts structurés contenant les balises <Subject N>, <Picture N>, <Video N> et <Audio N>, évitant ainsi la rédaction manuelle.
- Le dépôt inclut des scripts complets de service vLLM, des scripts d'appel et un guide de rédaction (VIDEO_PROMPT_WRITING_GUIDE_ref_en.md). Les exemples couvrent des scénarios tels que deux personnes se serrant la main, la fusion de deux vidéos en une seule, ou des personnages dansant sur de la musique.
- La même équipe a également publié une version 9B (Qwen3.5-9B) et une version FL2VA utilisant uniquement du texte ou des images de début et de fin.
Utilisation
- Installez les dépendances via pip install vllm requests pillow qwen-vl-utils. Configurez MODEL_PATH dans vllm_server.sh, puis exécutez bash vllm_server.sh (par défaut : une seule carte GPU, contexte de 32768, mode réflexion activé). Pour utiliser des vidéos de référence, installez ffmpeg et ffprobe.
- Dans post_vllm.sh, renseignez PROMPT, DURATION et les chemins absolus pour IMAGES / VIDEOS / AUDIOS. Utilisez les indices image 1, video 1 et audio 1 dans le prompt pour correspondre aux numéros, puis exécutez bash post_vllm.sh. Le résultat se trouve dans infer_outputs/result.json. Ajoutez --dry_run pour générer la requête sans l'envoyer.
- Copiez le prompt généré dans votre propre flux de travail MiniMax-H3 Ref2VA.
Risques
- La fiche du modèle est très succincte : aucune licence n'est indiquée, et il n'y a ni comparaison de génération avant/après réécriture, ni évaluation. La qualité de la réécriture ne peut être jugée par cette rubrique.
- Les poids BF16 pèsent environ 55 Go. Les exemples fonctionnent sur une seule carte GPU, nécessitant une carte graphique avec une grande mémoire vidéo. En cas de mémoire insuffisante, consultez la version 9B (cette rubrique n'a examiné que le début de sa fiche de modèle).
- Les audios de référence sont transmis uniquement via des balises ; le modèle n'analyse pas le contenu audio. Pour les vidéos de référence, seuls 8 images sont extraites par vidéo.