ReDiverse:找回少步蒸馏生成模型丢掉的多样性

把扩散模型蒸馏成少步学生模型能大幅降低采样延迟,但不同随机种子生成的结果差别很小。作者对比老师和学生的内部激活,发现学生的激活总方差和老师相当,却集中在少得多的方向上,而且塌缩发生在第一步去噪的某个中间模块。ReDiverse 有两种补法:ReDiverse-FT 训练轻量适配器,让学生在这个模块的激活回归到老师;ReDiverse-TF 不训练,推理时沿预先算好的老师主方向调整激活。作者称在图像和视频蒸馏基准上恢复了多样性,同时保持生成质量,用户研究也支持这一结论。

原题:Restoring Diversity in Distilled Image and Video Generators by Probing Activations

把扩散模型蒸馏成少步学生模型能大幅降低采样延迟,但不同随机种子生成的结果差别很小。作者对比老师和学生的内部激活,发现学生的激活总方差和老师相当,却集中在少得多的方向上,而且塌缩发生在第一步去噪的某个中间模块。ReDiverse 有两种补法:ReDiverse-FT 训练轻量适配器,让学生在这个模块的激活回归到老师;ReDiverse-TF 不训练,推理时沿预先算好的老师主方向调整激活。作者称在图像和视频蒸馏基准上恢复了多样性,同时保持生成质量,用户研究也支持这一结论。

为什么重要 四步出图、出视频虽快,但换种子画面几乎一样;它不加步数就能找回变化,SDXL、Wan、MiniMax H3 都有现成适配器

点赞 2 · 代码星数 2

理由

  • 覆盖 SDXL(DMD2)、SD3(TDM)、Wan 2.1(lightx2v)和 MiniMax-H3(Turbo)四组老师 / 学生,另放出 Pika H3 Flex 的适配器
  • 适配器是只在第一步生效的 LoRA;免训练版不改任何权重,两种可以叠加使用
  • 附激活探针工具,可以自己测某个蒸馏模型从哪个模块开始塌缩

用法

  • 代码:https://github.com/H-furkan/rediverse(Apache-2.0);适配器在抱脸 ReDiverse 账号,生成脚本首次运行时自动下载
  • 不同骨干模型各建一个环境,用 python -m wan.generate --arm rediverse --prompt "…" --num-samples 4 这类命令生成;--arm 可选 teacher、student、rediverse_ft、rediverse_tf、rediverse 做对照

风险

  • 适配器沿用底模许可:SDXL 版为 CC BY-NC-SA 4.0 加 Open RAIL++-M 限制;MiniMax-H3 和 Pika H3 Flex 版受 MiniMax H3 社区许可约束,适用地区不含欧盟、英国、韩国和美国
  • 免训练版每个提示词要先估计老师方向,视频模型耗时较长(README 称 MiniMax-H3 约一个 GPU 小时);作者实验都用 80GB H100
  • 成绩为作者报告;本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态