Titre original : MovieRoll: A Systematic Framework for Rolling Out Long-Form Videos
La génération vidéo en streaming doit maintenir la qualité au-delà de la longueur d'entraînement, tout en gérant son propre historique généré et un cache en constante augmentation. MovieRoll entraîne d'abord un modèle de base multi-étapes via l'apprentissage forcé par fenêtre (WinTF) : débruitage conjoint avec bruit progressif et attention bidirectionnelle à l'intérieur de la fenêtre, avec un accès causal uniquement à l'historique précédent ; le cache KV hiérarchique (HieraKV) conserve tout l'historique dans les couches peu profondes et ne garde que le début et les segments récents dans les couches profondes, les auteurs affirmant une réduction de la mémoire du cache allant jusqu'à 78%. Il est ensuite distillé en un générateur à faible nombre d'étapes via l'optimisation longue cumulative (CuLT-DMD), avec un recalcul KV pour limiter le contexte lors de l'inférence, tandis que le modèle de base utilise AnnealCFG pour réduire progressivement la guidance. Les auteurs affirment que sur HeliosBench, le modèle de base entraîné uniquement sur des vidéos d'une durée maximale de 15 secondes reste compétitif jusqu'à 30 secondes, et que le modèle distillé obtient le score global le plus élevé dans les évaluations mono-événement et multi-événements jusqu'à 60 secondes.
Pourquoi c'est important La génération en streaming a tendance à se dégrader davantage au fil du temps ; cette approche intègre l'entraînement, la distillation et l'inférence dans une solution unique, avec des poids déjà publiés pour la génération vidéo à partir de texte et d'images
J'aime 10 · Étoiles du code 53
Raisons
- Publication de trois poids : le modèle de base (génération vidéo à partir de texte + à partir d'images, 50 étapes) et deux modèles distillés pour la génération vidéo à partir de texte et d'images (5 étapes, sans CFG), tous basés sur HunyuanVideo-1.5 480p
- Possibilité d'utiliser une seule invite ou plusieurs invites d'événements séquentielles, qui se produisent les unes après les autres dans la même vidéo
- Prise en charge immédiate de SGLang Diffusion et vLLM-Omni ; le répertoire agent du dépôt inclut des compétences d'agent pour la réécriture d'invites, l'exécution, le portage, etc., directement utilisables par des agents de programmation
Utilisation
- Code : https://github.com/Tencent-Hunyuan/MovieRoll(腾讯混元社区许可);权重在抱脸 yunyangge/MovieRoll, nécessite d'accepter les conditions d'accès et de se connecter pour le téléchargement
- Nécessite également le VAE de HunyuanVideo-1.5, Qwen2.5-VL-7B-Instruct et des encodeurs de texte tels que byt5-small ; utilisez python generate_movieroll.py --model ckpts/movieroll/distilled/t2v --prompt "…" --video-length 721 pour générer une vidéo d'environ 30 secondes, les invites longues donnent des résultats plus stables, vous pouvez d'abord utiliser la compétence de réécriture d'invites intégrée
Risques
- L'inférence sur une seule carte graphique nécessite de charger l'ensemble du pipeline dans la mémoire vidéo (le README indique que les cartes graphiques de 96GB suffisent), FlashAttention-3 (architecture Hopper) est obligatoire ; le déchargement sur CPU n'est pas encore pris en charge, le support des cartes graphiques grand public est prévu
- La licence ne s'applique pas à l'Union européenne, au Royaume-Uni et à la Corée du Sud
- Les résultats sont rapportés par les auteurs ; cette entrée n'a pas été exécutée
Ouvrir · Code · Page du papier