FastFrames-L:苹果的两步自回归视频生成模型

苹果机器学习研究团队 11 月 16 日上传。FastFrames 是自回归、两步采样的视频扩散模型,输出 480p(832×480、81 帧、16 fps)。L 版 14B:先把 Wan2.1-14B 按 Causal Forcing++ 蒸馏成两步因果模型,再训练像素解码器和 KV 修正网络;仓库同时放了因果教师、一致性蒸馏、DMD 蒸馏和最终生成器全部检查点。另有 1.3B 的 FastFrames-S,以及提速 16 倍、可做摄像机控制的 LingBot 1.3B 演示。

原题:apple/FastFrames-L

苹果机器学习研究团队 11 月 16 日上传。FastFrames 是自回归、两步采样的视频扩散模型,输出 480p(832×480、81 帧、16 fps)。L 版 14B:先把 Wan2.1-14B 按 Causal Forcing++ 蒸馏成两步因果模型,再训练像素解码器和 KV 修正网络;仓库同时放了因果教师、一致性蒸馏、DMD 蒸馏和最终生成器全部检查点。另有 1.3B 的 FastFrames-S,以及提速 16 倍、可做摄像机控制的 LingBot 1.3B 演示。

为什么重要 面向可交互的视频生成,官方称小号版单卡一步只要几十毫秒;大号版连同蒸馏各阶段检查点一起公开

上升分 42 · 点赞 42 · 下载量 0

理由

  • 官方给的 FastFrames-S 单卡 480p 延迟分解:两次 DiT 各约 16 ms、KV 修正 2.2 ms、像素解码 0.9 ms,合计 35.4 ms;L 版的测速用 8 卡
  • 从 Wan2.1-14B 到最终生成器,每个蒸馏阶段的权重都在仓库里,便于研究复现
  • 附 VBench 复现说明和项目页 20 多段视频的生成脚本

用法

  • Linux x86-64、NVIDIA 显卡、支持 CUDA 12.8 的驱动;克隆 GitHub apple-aiml-research/ml-fastframes 后 uv sync,按 checkpoint 指南下载本仓库和第三方权重
  • 文生视频:uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output out.mp4
  • 交互演示:按 lingbot 文档配置后运行 apps/lingbot/demo.py(多卡用 --gpus 8),浏览器打开 localhost:8000

风险

  • 许可是 Apple 机器学习研究许可(apple-amlr)和 Apple 示例代码许可,用途受限;LingBot 部分是 CC BY-NC-SA 4.0 非商用
  • 最终 DiT 文件约 28.6 GB,连同中间检查点整个仓库接近 200 GB;官方没写单卡显存需求,L 版演示和测速都用 8 卡
  • 论文还没放出,卡里没有画质对比数字,输出只有 480p;本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态