原题:FewStepRL: Fine-tuning Few-step Diffusion Models with Reinforcement Learning
扩散模型做强化学习后训练时,每轮都要用多步采样生成样本,成本主要花在这里;少步模型能省掉大部分开销,但它们学的是一段区间上的平均速度,而现有 RL 目标是为瞬时速度设计的。FewStepRL 分三步改造:把各种目标统一换算到 x 空间,把梯度拆成朝参考的自回归项加奖励增强项,再用少步模型重新计算锚点,得到 FlowGRPO、AWM、DiffusionNFT、DiffusionOPSD 和 ReFL 的少步版本。作者的结论是:奖励可微且梯度不贵时,直接用奖励梯度的方法最有效;否则 DiffusionNFT 类方法用较少迭代就能拿到高奖励;推理时加步数没有系统性收益。
为什么重要 少步模型出图快,但现有强化学习方法按多步采样设计;统一代码库让四步模型也能按偏好奖励继续调
点赞 8 · 代码星数 6
理由
- 面向要速度的生成场景:四步、不用 CFG 出图出视频,又能按审美、图文一致性、文字渲染等奖励继续优化
- 代码把多种方法统一成“三个锚点 + 三个权重”的组合,便于在同一设置下对比
- SD3.5-Medium 图像版和 Wan2.1 视频版的代码与检查点都已放出
用法
- 代码:https://github.com/EDAPINENUT/fewsteprl-sd35(视频版 EDAPINENUT/fewsteprl-wan21);检查点:抱脸 Delcher/fewsteprl-sd35
- 装好依赖后运行 download_scripts/download_assets.sh 下载 SD3.5-M 和奖励模型,再用 scripts/train/<名称>.sh 训练、scripts/eval/eval_ckpt.sh 评测
风险
- 训练配置按 8 卡写;SD3.5-Medium 需要先在抱脸接受其许可
- 只用 OCR 准确率当奖励时会出现奖励投机、其他指标下降,README 已写明
- DMDAWM 的生成结果带轻微网格纹,README 展示时做了模糊处理;本条未运行