MovieRoll:腾讯混元的长视频流式生成框架

流式视频生成要在超出训练长度后保持质量,同时处理自己生成的历史和不断增长的缓存。MovieRoll 先用窗口式教师强制(WinTF)训练多步基础模型:窗口内按递进噪声联合去噪、双向注意力,对之前的历史只做因果访问;分层 KV 缓存(HieraKV)在浅层保留全部历史、深层只留开头和最近的片段,作者称缓存内存最多减少 78%。再用累积长调优(CuLT-DMD)把它蒸馏成少步生成器,推理时用 KV 重算限定上下文,基础模型另用 AnnealCFG 逐步降低引导。作者称在 HeliosBench 上,只用最长 15 秒视频训练的基础模型到 30 秒仍有竞争力,蒸馏模型在最长 60 秒的单事件和多事件评测里总分最高。

原题:MovieRoll: A Systematic Framework for Rolling Out Long-Form Videos

流式视频生成要在超出训练长度后保持质量,同时处理自己生成的历史和不断增长的缓存。MovieRoll 先用窗口式教师强制(WinTF)训练多步基础模型:窗口内按递进噪声联合去噪、双向注意力,对之前的历史只做因果访问;分层 KV 缓存(HieraKV)在浅层保留全部历史、深层只留开头和最近的片段,作者称缓存内存最多减少 78%。再用累积长调优(CuLT-DMD)把它蒸馏成少步生成器,推理时用 KV 重算限定上下文,基础模型另用 AnnealCFG 逐步降低引导。作者称在 HeliosBench 上,只用最长 15 秒视频训练的基础模型到 30 秒仍有竞争力,蒸馏模型在最长 60 秒的单事件和多事件评测里总分最高。

为什么重要 流式生成越往后越容易崩;它把训练、蒸馏和推理放进一套方案,文生视频、图生视频权重都已放出

点赞 10 · 代码星数 53

理由

  • 放出三个权重:基础模型(文生视频 + 图生视频,50 步)和文生视频、图生视频两个蒸馏模型(5 步、不用 CFG),都基于 HunyuanVideo-1.5 480p
  • 可以用一个提示词,也可以按顺序给多个事件提示词,在同一段视频里依次发生
  • 首发即支持 SGLang Diffusion 和 vLLM-Omni;仓库 agent 目录附提示词改写、运行、移植等代理技能,可直接交给编程智能体照做

用法

  • 代码:https://github.com/Tencent-Hunyuan/MovieRoll(腾讯混元社区许可);权重在抱脸 yunyangge/MovieRoll,需先接受访问条件并登录下载
  • 另需 HunyuanVideo-1.5 的 VAE、Qwen2.5-VL-7B-Instruct 和 byt5-small 等文本编码器;用 python generate_movieroll.py --model ckpts/movieroll/distilled/t2v --prompt "…" --video-length 721 生成约 30 秒视频,长提示词效果更稳,可先用自带的提示词改写技能

风险

  • 单卡推理要整条流程放进显存(README 称 96GB 显卡可以),必须装 FlashAttention-3(Hopper 架构);暂不支持 CPU 卸载,消费级显卡支持还在计划中
  • 许可不适用于欧盟、英国和韩国
  • 成绩为作者报告;本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态