La solution de génération vidéo longue en temps réel du groupe de Zhijie Deng de l'Université Jiao Tong de Shanghai, conçue conjointement pour la génération, l'entraînement et l'exécution. Les méthodes autoregressives par blocs existantes nécessitent de terminer le débruitage d'un bloc avant de rafraîchir le cache historique, nécessitant deux passes avant même pour un débruitage en une étape ; Wave Forcing utilise une attention causale par blocs, permettant aux blocs suivants de lire un contexte « plus propre » avant que les blocs précédents ne soient entièrement débruités, puis répartit les phases de débruitage décalées et le rafraîchissement du cache sur des copies complètes du modèle réparties sur plusieurs cartes. Une fois le pipeline saturé, chaque tour de passes avant concurrentes produit un bloc (les auteurs parlent de 1F1C). L'entraînement se déroule en trois phases : débruitage à bruit mixte, supervision du mouvement et adaptation causale utilisant l'historique auto-généré ; à l'exécution, WaveRT utilise le Wave Parallelism pour envoyer unidirectionnellement les K/V de chaque couche en avance, masquant la communication sous le calcul d'attention, et pipeline la décodage VAE.
J'aime 106 · Étoiles du code 96
Raisons
- Les auteurs affirment que sur Wan2.1-T2V-1.3B, la version en 4 étapes atteint 147.6 FPS pour le DiT et 134.8 FPS en bout en bout sur 8 cartes H200, soit 7.07 fois le débit en bout en bout sur une seule carte ; le README indique que 1593 images (environ 100 secondes à 16 FPS) sont décodées en environ 11.8 secondes.
- En termes de qualité, les auteurs affirment que la version en 5 étapes est globalement comparable à Rolling Forcing, avec un Dynamic Degree (amplitude de mouvement) plus élevé pour les vidéos courtes et longues ; dans les comparaisons pures de DiT, à backend, nombre d'étapes et nombre de cartes identiques, le débit du Wave Parallelism est au plus 2.53 fois celui du plus rapide entre Ulysses et Ring Context Parallelism (sur six tailles de 1.3B à 14B).
- Fonctionnel : le code d'inférence et le runtime WaveRT sont sous licence Apache-2.0, le dépôt Hugging Face SJTU-DENG-Lab/WaveForcing-1.3B contient deux checkpoints BF16 en 4 et 5 étapes (avec miroir sur ModelScope), et le code d'entraînement de référence est également disponible ; le dépôt était deuxième en nombre de likes le jour de sa sortie (indiquant uniquement l'attention reçue).
Utilisation
- Téléchargement : hf download Wan-AI/Wan2.1-T2V-1.3B-Diffusers --local-dir ckpts/Wan2.1-T2V-1.3B-Diffusers, puis hf download SJTU-DENG-Lab/WaveForcing-1.3B --local-dir ckpts/WaveForcing-1.3B (l'encodeur de texte et le VAE sont lus depuis le modèle de base Wan2.1).
- 5 étapes (configuration 5+2) : python -m wave_rt --model-path ckpts/Wan2.1-T2V-1.3B-Diffusers --gen-ckpt ckpts/WaveForcing-1.3B/5step/model.safetensors --rf-step 5 --wp-size 6 --denoising-step-list 1000,800,600,400,200 --num-frames 24 --height 480 --width 832 --vae-stages 2 --cuda-visible-devices 0,1,2,3,4,5,6,7 --prompt "…", la sortie se trouve dans outputs/quickstart/<run-tag>/video.mp4.
- 4 étapes (configuration 4+3, soit les chiffres phares) : pointez --gen-ckpt vers 4step/model.safetensors, et modifiez --rf-step 4 --wp-size 5 --denoising-step-list 1000,750,500,250 --vae-stages 3.
- --num-frames est le nombre d'images dans l'espace latent, qui doit être divisible par 3 ; définir 399 correspond au benchmark de vidéos longues (décodage de 1593 images).
Risques
- Barrière élevée : le guide de démarrage rapide du README est écrit pour un pipeline de 8 cartes, l'environnement n'a été validé que sur Python 3.12, PyTorch 2.11.0+cu128, le runtime de diffusion SGLang et les cartes graphiques Hopper, sans instructions pour l'exécution sur une seule carte ou des cartes grand public.
- Actuellement, seuls les checkpoints 1.3B sont disponibles, avec une résolution de 832×480 ; la ligne 14B dans le tableau du README utilise des poids initialisés aléatoirement, testant uniquement l'extensibilité système, sans refléter la qualité de génération.
- Le code d'entraînement de référence utilise la licence à usage académique de RollingForcing, différente de la licence Apache-2.0 du runtime ; les comparaisons de FPS et de qualité sont rapportées par les auteurs, sans visionnage des vidéos générées, aucune évaluation visuelle n'est fournie.
Éditeur : Convient aux équipes disposant de plusieurs cartes H100 / H200, souhaitant effectuer du streaming vidéo long en temps réel ou rechercher le parallélisme vidéo autoregressif par blocs ; les utilisateurs sur une seule carte doivent d'abord consulter la matrice de configuration complète sur la page du projet avant de décider.