Оригинальное название: FewStepRL: Fine-tuning Few-step Diffusion Models with Reinforcement Learning
При посттренировке диффузионных моделей методом обучения с подкреплением на каждом этапе требуются многошаговые выборки для генерации образцов, что составляет основную часть затрат; модели с малым числом шагов позволяют значительно сократить эти издержки, однако они обучаются усредненной скорости на интервале, тогда как существующие цели RL рассчитаны на мгновенную скорость. FewStepRL предлагает трехэтапное преобразование: унификация различных целей в пространстве x, разложение градиента на авторегрессионный член, ориентированный на референс, и член усиления вознаграждением, а также пересчет опорных точек с использованием модели с малым числом шагов. Это позволяет получить версии с малым числом шагов для FlowGRPO, AWM, DiffusionNFT, DiffusionOPSD и ReFL. Авторы делают вывод: если функция вознаграждения дифференцируема и вычисление градиента не требует больших затрат, наиболее эффективны методы, напрямую использующие градиент вознаграждения; в противном случае методы типа DiffusionNFT позволяют достичь высокого уровня вознаграждения за меньшее число итераций; увеличение числа шагов при инференсе не дает систематического выигрыша.
Почему это важно Модели с малым числом шагов генерируют изображения быстро, но существующие методы обучения с подкреплением рассчитаны на многошаговую выборку; единая кодовая база позволяет дообучать модели с четырьмя шагами в соответствии с предпочтениями и вознаграждением
Лайков 8 · Звезд на GitHub 6
Причины
- Для генеративных сценариев, где важна скорость: четыре шага, генерация изображений и видео без CFG, с возможностью дальнейшей оптимизации по таким критериям, как эстетика, согласованность текста и изображения, качество рендеринга текста
- Код унифицирует различные методы в комбинацию «три опорные точки + три веса», что облегчает сравнение в одинаковых настройках
- Опубликованы код и контрольные точки для версии изображений SD3.5-Medium и версии видео Wan2.1
Использование
- Код: https://github.com/EDAPINENUT/fewsteprl-sd35(视频版 EDAPINENUT/fewsteprl-wan21); контрольные точки: Hugging Face Delcher/fewsteprl-sd35
- После установки зависимостей выполните download_scripts/download_assets.sh для загрузки SD3.5-M и моделей вознаграждения, затем используйте scripts/train/<имя>.sh для обучения и scripts/eval/eval_ckpt.sh для оценки
Риски
- Конфигурация обучения рассчитана на 8 GPU; для SD3.5-Medium необходимо предварительно принять лицензию на Hugging Face
- При использовании только точности OCR в качестве вознаграждения возникает спекуляция наградой и снижение других метрик, что указано в README
- Результаты генерации DMDAWM содержат легкую сетчатую текстуру; в демонстрации README она была размыта; данный пункт не был выполнен