Entrez un article de connaissances ou un script narratif, et obtenez une vidéo montée de quelques minutes. Le cœur du système est un modèle de politique entraîné sur Qwen3.5-9B : à chaque étape, il lit l'état de montage structuré actuel (chapitres, plans, narration, médias, modèles, musique, rendu) et n'émet qu'un seul appel d'outil — segmentation en chapitres, planification des plans, synthèse de la narration, récupération de médias, application de modèles d'animation, sélection de musique, évaluation, réflexion, correction, assemblage ; une vidéo finale nécessite environ 12 appels ; le flux de travail n'est pas figé, les garde-fous ne font que rejeter les appels invalides sans prendre de décisions à la place du modèle. Les données d'entraînement proviennent de la « rétro-ingénierie de montage + relecture de validation » : 3,750 vidéos finales sont reconverties en décisions de montage exécutables, générant plus de 13 mille échantillons d'entraînement.
J'aime 14 · Étoiles du code 13
Raisons
- Tout est inclus : les poids du modèle de politique de 9B (sur Hugging Face tencent/WeVisCut), l'environnement d'exécution Studio avec le même ensemble de 12 outils et le même format d'état que lors de l'entraînement, ainsi que le pipeline de construction de données data_construct_pipeline ayant produit les trajectoires d'entraînement sont tous ouverts, sous licence Apache-2.0.
- Les auteurs affirment que le modèle dépasse nettement le modèle de base dans un environnement d'outils unifié, avec une qualité comparable à celle de Claude Opus 5, tout en consommant environ 33 fois moins de tokens par minute de vidéo générée ; ils ont également créé un benchmark avec 100 tâches et 5 métriques, mesurant à la fois la qualité du montage et la fiabilité de la livraison.
- Studio est modifiable : huit pistes synchronisées (chapitres, plans, narration, sous-titres, médias, modèles, musique, rendu), avec pause / reprise, modification manuelle ou via chat (« remplacer l'introduction », « remplacer l'image de 0:15 »), ne re-rendant que les plans modifiés, et supportant le retour aux versions précédentes.
Utilisation
- Installation : git clone github.com/Tencent/WeVisCut → pip install -r requirements.txt (sur les machines GPU, installez d'abord PyTorch correspondant à CUDA, puis pip install -r requirements-gpu.txt) → bash scripts/setup_external_tools.sh (télécharge ffmpeg, Node et le moteur de rendu, environ 1.1 GB).
- Poids : hf download tencent/WeVisCut --local-dir checkpoints/weviscut-9b ; l'inférence en bf16 nécessite un GPU NVIDIA avec environ 24 GB de mémoire vidéo, Python ≥ 3.11.
- Démarrage : bash run_studio.sh (vous pouvez d'abord utiliser --check pour vérifier les chemins), ouvrez http://<hôte>:8081/ dans le navigateur, collez le script narratif pour commencer ; pour voir uniquement l'interface sans charger le modèle, utilisez --no-model.
- Les sources de médias et de musique sont configurables dans studio_config.yaml, pouvant pointer vers vos propres interfaces HTTP, dossiers locaux ou plugins Python.
Risques
- Ce n'est pas un modèle de génération vidéo à partir de texte : les images proviennent de la récupération de médias et de modèles d'animation, la qualité de la vidéo finale dépend des services de récupération, de synthèse vocale (TTS) et de rendu que vous configurez ; la fiche du modèle précise qu'elle ne garantit ni l'exactitude factuelle ni la qualité de la vidéo, une revue humaine est nécessaire avant publication.
- Les médias et musiques par défaut proviennent de la recherche sur le web ouvert, la vérification des droits d'auteur vous incombe ; la licence des poids sur Hugging Face est marquée « other », le README indique seulement « les poids et les composants tiers sont régis par leurs propres licences », à vérifier avant toute utilisation commerciale (le modèle de base est Qwen3.5-9B).
- Le chargement des poids nécessite ms-swift avec qwen3_5 enregistré ; la comparaison avec Claude Opus 5 et les chiffres d'économie de tokens sont rapportés par les auteurs, le benchmark est auto-construit par les auteurs.
Éditeur : Convient pour le montage brut de vidéos narratives de type connaissances ou explications : laissez-le produire une première version, puis affinez plan par plan sur la timeline.