Wave Forcing:逼近“光速”的流式长视频生成(Towards Speed-of-Light Streaming Video Generation)

上海交大邓志杰组的实时长视频生成方案,生成、训练、执行三部分一起设计。现有分块自回归方法要先把一块去噪完、再刷新历史缓存,即使一步去噪也要两次前向;Wave Forcing 用分块因果注意力,让后面的块在前面的块还没完全去噪时就能读到“更干净”的上文,再把错开的去噪阶段和缓存刷新分给多张卡上的完整模型副本,流水线填满后每轮并发前向输出一块(作者称 1F1C)。训练分三阶段:混合噪声去噪、运动监督、用自生成历史做因果适配;运行时 WaveRT 用 Wave Parallelism 提前单向下发各层 K/V,把通信藏在注意力计算下面,并流水线化 VAE 解码。

上海交大邓志杰组的实时长视频生成方案,生成、训练、执行三部分一起设计。现有分块自回归方法要先把一块去噪完、再刷新历史缓存,即使一步去噪也要两次前向;Wave Forcing 用分块因果注意力,让后面的块在前面的块还没完全去噪时就能读到“更干净”的上文,再把错开的去噪阶段和缓存刷新分给多张卡上的完整模型副本,流水线填满后每轮并发前向输出一块(作者称 1F1C)。训练分三阶段:混合噪声去噪、运动监督、用自生成历史做因果适配;运行时 WaveRT 用 Wave Parallelism 提前单向下发各层 K/V,把通信藏在注意力计算下面,并流水线化 VAE 解码。

点赞 106 · 代码星数 96

理由

  • 作者称在 Wan2.1-T2V-1.3B 上,4 步版在 8 张 H200 上 DiT 147.6 FPS、端到端 134.8 FPS,是单卡端到端吞吐的 7.07 倍;README 写 1593 帧(16 FPS 下约 100 秒)约 11.8 秒解完。
  • 质量方面作者称 5 步版整体与 Rolling Forcing 相当、短视频和长视频的 Dynamic Degree(运动幅度)更高;纯 DiT 对比中,同后端同步数同卡数下 Wave Parallelism 吞吐最高为 Ulysses / Ring 上下文并行较快者的 2.53 倍(1.3B–14B 六种规模)。
  • 已能跑:推理代码和 WaveRT 运行时 Apache-2.0,抱脸 SJTU-DENG-Lab/WaveForcing-1.3B 里有 4 步、5 步两个 BF16 检查点(ModelScope 有镜像),参考训练代码也已放出;抱脸当日点赞第二(只代表关注度)。

用法

  • 下载:hf download Wan-AI/Wan2.1-T2V-1.3B-Diffusers --local-dir ckpts/Wan2.1-T2V-1.3B-Diffusers,再 hf download SJTU-DENG-Lab/WaveForcing-1.3B --local-dir ckpts/WaveForcing-1.3B(文本编码器、VAE 从 Wan2.1 底模读)。
  • 5 步(5+2 布局):python -m wave_rt --model-path ckpts/Wan2.1-T2V-1.3B-Diffusers --gen-ckpt ckpts/WaveForcing-1.3B/5step/model.safetensors --rf-step 5 --wp-size 6 --denoising-step-list 1000,800,600,400,200 --num-frames 24 --height 480 --width 832 --vae-stages 2 --cuda-visible-devices 0,1,2,3,4,5,6,7 --prompt "…",输出在 outputs/quickstart/<run-tag>/video.mp4。
  • 4 步(4+3 布局,即头条数字):--gen-ckpt 指向 4step/model.safetensors,并改 --rf-step 4 --wp-size 5 --denoising-step-list 1000,750,500,250 --vae-stages 3。
  • --num-frames 是潜空间帧数,必须能被 3 整除;设 399 对应长视频基准(解码 1593 帧)。

风险

  • 门槛高:README 的快速上手按 8 卡流水线写,环境只在 Python 3.12、PyTorch 2.11.0+cu128、SGLang 扩散运行时和 Hopper 显卡上验证过,单卡或消费级显卡怎么跑没有说明。
  • 目前只有 1.3B 检查点、分辨率 832×480;README 表格里的 14B 一行是随机初始化权重,只测系统扩展性,不代表生成质量。
  • 参考训练代码沿用 RollingForcing 的学术用途许可,与运行时的 Apache-2.0 不同;FPS 和质量对比均为作者报告,没看过生成视频,不评价画面。

编辑:适合手里有多张 H100 / H200、想做实时长视频推流或研究分块自回归视频并行的团队;单卡用户先看项目页的完整配置矩阵再决定。

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态