Titre original : Video-Coder: Reinforcing Agentic Coding for Video Generation
La qualité visuelle des modèles de génération vidéo est déjà très élevée, mais le contrôle précis de la structure spatiale, des mouvements et de la mise en scène reste difficile. Video-Coder entraîne un agent de codage sur Qwen3.5-9B, qui écrit et exécute lui-même des programmes Python Blender pour construire des scènes 3D 3 dynamiques ; la « vidéo d'ébauche » rendue sert de signal de structure et de mouvement pour le modèle de génération vidéo en aval (le README utilise MiniMax-H3) ; l'entraînement commence par un SFT, suivi d'un apprentissage par renforcement dans un environnement d'exécution auto-construit, où la récompense évalue à la fois l'exécutabilité du code et la qualité finale de la vidéo. Les auteurs affirment qu'avec MiniMax-H3, le score moyen sur PhyGenBench passe de 0.61 à 0.67, et VBench-2.0 de 54.58% à 78.19%.
Pourquoi c'est important La disposition des objets, les mouvements et les plans caméra sont déterminés par du code exécutable, ce qui rend la structure spatiale des vidéos générées plus contrôlable ; les modèles, les données et le code d'entraînement sont tous publiés
J'aime 16 · Étoiles du code 25
Raisons
- Pour une génération vidéo contrôlable : la position des objets, les trajectoires de mouvement et les plans caméra sont déterminés par une scène 3D 3 exécutable, adaptée aux plans exigeants en matière de relations spatiales
- Les modèles (Video-Coder-9B et sa version SFT), les données d'entraînement et l'intégralité du code d'entraînement SFT + apprentissage par renforcement sont open source
- Le modèle de génération vidéo en aval et le modèle d'évaluation sont remplaçables ; le README indique qu'il suffit de modifier la configuration de la récompense pour utiliser d'autres générateurs
Utilisation
- Code : https://github.com/CYWang735/Video-Coder;权重:抱脸 Video-Coder/Video-Coder-9B (il existe aussi Video-Coder-SFT-9B), jeu de données Video-Coder/Train-Data
- L'inférence se fait en deux étapes : d'abord, générer la vidéo d'ébauche Blender dans un bac à sable Apptainer via run_inference.sh (en sauvegardant également le script de rendu main.py), puis convertir l'ébauche en vidéo finale via run_batch.sh dans le répertoire du service MiniMax-H3
Risques
- Dépendances lourdes : nécessite un bac à sable Blender et un modèle de génération vidéo déployé séparément ; l'entraînement par apprentissage par renforcement des auteurs a utilisé 8 cartes H100, plus 4 cartes par service MiniMax-H3
- La récompense vidéo lors de la phase d'apprentissage par renforcement fait appel à une évaluation VLM sur Alibaba Cloud DashScope ; la reproduction de l'entraînement nécessite une clé API pour ce service
- Les scores sont des résultats auto-déclarés par les auteurs sur deux benchmarks ; cette entrée n'a pas été exécutée
Ouvrir · Code · Page du papier