原题:Restoring Diversity in Distilled Image and Video Generators by Probing Activations
把扩散模型蒸馏成少步学生模型能大幅降低采样延迟,但不同随机种子生成的结果差别很小。作者对比老师和学生的内部激活,发现学生的激活总方差和老师相当,却集中在少得多的方向上,而且塌缩发生在第一步去噪的某个中间模块。ReDiverse 有两种补法:ReDiverse-FT 训练轻量适配器,让学生在这个模块的激活回归到老师;ReDiverse-TF 不训练,推理时沿预先算好的老师主方向调整激活。作者称在图像和视频蒸馏基准上恢复了多样性,同时保持生成质量,用户研究也支持这一结论。
为什么重要 四步出图、出视频虽快,但换种子画面几乎一样;它不加步数就能找回变化,SDXL、Wan、MiniMax H3 都有现成适配器
点赞 2 · 代码星数 2
理由
- 覆盖 SDXL(DMD2)、SD3(TDM)、Wan 2.1(lightx2v)和 MiniMax-H3(Turbo)四组老师 / 学生,另放出 Pika H3 Flex 的适配器
- 适配器是只在第一步生效的 LoRA;免训练版不改任何权重,两种可以叠加使用
- 附激活探针工具,可以自己测某个蒸馏模型从哪个模块开始塌缩
用法
- 代码:https://github.com/H-furkan/rediverse(Apache-2.0);适配器在抱脸 ReDiverse 账号,生成脚本首次运行时自动下载
- 不同骨干模型各建一个环境,用 python -m wan.generate --arm rediverse --prompt "…" --num-samples 4 这类命令生成;--arm 可选 teacher、student、rediverse_ft、rediverse_tf、rediverse 做对照
风险
- 适配器沿用底模许可:SDXL 版为 CC BY-NC-SA 4.0 加 Open RAIL++-M 限制;MiniMax-H3 和 Pika H3 Flex 版受 MiniMax H3 社区许可约束,适用地区不含欧盟、英国、韩国和美国
- 免训练版每个提示词要先估计老师方向,视频模型耗时较长(README 称 MiniMax-H3 约一个 GPU 小时);作者实验都用 80GB H100
- 成绩为作者报告;本条未运行