Titre original : FewStepRL: Fine-tuning Few-step Diffusion Models with Reinforcement Learning
Lors de l'affinage post-entraînement par apprentissage par renforcement des modèles de diffusion, chaque tour nécessite un échantillonnage multi-étapes pour générer des exemples, ce qui constitue le principal coût ; les modèles à peu d'étapes permettent d'économiser la majeure partie de cette charge, mais ils apprennent une vitesse moyenne sur un intervalle, tandis que les objectifs RL existants sont conçus pour la vitesse instantanée. FewStepRL opère une transformation en trois étapes : il convertit divers objectifs dans l'espace x, décompose le gradient en un terme autorégressif vers la référence et un terme d'amélioration par récompense, puis recalcule les ancres à l'aide du modèle à peu d'étapes, obtenant ainsi des versions à peu d'étapes de FlowGRPO, AWM, DiffusionNFT, DiffusionOPSD et ReFL. La conclusion des auteurs est la suivante : lorsque la récompense est différentiable et que le calcul du gradient n'est pas coûteux, les méthodes utilisant directement le gradient de la récompense sont les plus efficaces ; sinon, les méthodes de type DiffusionNFT atteignent une récompense élevée avec moins d'itérations ; augmenter le nombre d'étapes lors de l'inférence ne procure aucun gain systématique.
Pourquoi c'est important Les modèles à peu d'étapes génèrent des images rapidement, mais les méthodes d'apprentissage par renforcement existantes sont conçues pour un échantillonnage multi-étapes ; une base de code unifiée permet aux modèles à quatre étapes d'être également affinés selon des récompenses basées sur les préférences
J'aime 8 · Étoiles du code 6
Raisons
- Pour les scénarios de génération nécessitant de la vitesse : quatre étapes, sans CFG pour générer des images et des vidéos, tout en permettant une optimisation continue selon des récompenses telles que l'esthétique, la cohérence image-texte et le rendu du texte
- Le code unifie plusieurs méthodes sous la forme d'une combinaison de « trois ancres + trois poids », facilitant la comparaison dans une configuration identique
- Le code et les points de contrôle pour la version image SD3.5-Medium et la version vidéo Wan2.1 sont tous deux disponibles
Utilisation
- Code : https://github.com/EDAPINENUT/fewsteprl-sd35(视频版 EDAPINENUT/fewsteprl-wan21) ; Points de contrôle : Hugging Face Delcher/fewsteprl-sd35
- Après avoir installé les dépendances, exécutez download_scripts/download_assets.sh pour télécharger SD3.5-M et les modèles de récompense, puis utilisez scripts/train/<name>.sh pour l'entraînement et scripts/eval/eval_ckpt.sh pour l'évaluation
Risques
- La configuration d'entraînement est écrite pour 8 GPU ; SD3.5-Medium nécessite d'accepter au préalable sa licence sur Hugging Face
- L'utilisation exclusive de la précision OCR comme récompense entraîne une spéculation sur la récompense et une baisse des autres métriques, comme indiqué dans le README
- Les résultats générés par DMDAWM présentent un léger motif de grille, flouté lors de la démonstration dans le README ; cette entrée n'a pas été exécutée