FewStepRL: дообучение с подкреплением для диффузионных моделей с четырьмя шагами

При посттренировке диффузионных моделей методом обучения с подкреплением на каждом этапе требуются многошаговые выборки для генерации образцов, что составляет основную часть затрат; модели с малым числом шагов позволяют значительно сократить эти издержки, однако они обучаются усредненной скорости на интервале, тогда как существующие цели RL рассчитаны на мгновенную скорость. FewStepRL предлагает трехэтапное преобразование: унификация различных целей в пространстве x, разложение градиента на авторегрессионный член, ориентированный на референс, и член усиления вознаграждением, а также пересчет опорных точек с использованием модели с малым числом шагов. Это позволяет получить версии с малым числом шагов для FlowGRPO, AWM, DiffusionNFT, DiffusionOPSD и ReFL. Авторы делают вывод: если функция вознаграждения дифференцируема и вычисление градиента не требует больших затрат, наиболее эффективны методы, напрямую использующие градиент вознаграждения; в противном случае методы типа DiffusionNFT позволяют достичь высокого уровня вознаграждения за меньшее число итераций; увеличение числа шагов при инференсе не дает систематического выигрыша.

Оригинальное название: FewStepRL: Fine-tuning Few-step Diffusion Models with Reinforcement Learning

При посттренировке диффузионных моделей методом обучения с подкреплением на каждом этапе требуются многошаговые выборки для генерации образцов, что составляет основную часть затрат; модели с малым числом шагов позволяют значительно сократить эти издержки, однако они обучаются усредненной скорости на интервале, тогда как существующие цели RL рассчитаны на мгновенную скорость. FewStepRL предлагает трехэтапное преобразование: унификация различных целей в пространстве x, разложение градиента на авторегрессионный член, ориентированный на референс, и член усиления вознаграждением, а также пересчет опорных точек с использованием модели с малым числом шагов. Это позволяет получить версии с малым числом шагов для FlowGRPO, AWM, DiffusionNFT, DiffusionOPSD и ReFL. Авторы делают вывод: если функция вознаграждения дифференцируема и вычисление градиента не требует больших затрат, наиболее эффективны методы, напрямую использующие градиент вознаграждения; в противном случае методы типа DiffusionNFT позволяют достичь высокого уровня вознаграждения за меньшее число итераций; увеличение числа шагов при инференсе не дает систематического выигрыша.

Почему это важно Модели с малым числом шагов генерируют изображения быстро, но существующие методы обучения с подкреплением рассчитаны на многошаговую выборку; единая кодовая база позволяет дообучать модели с четырьмя шагами в соответствии с предпочтениями и вознаграждением

Лайков 8 · Звезд на GitHub 6

Причины

  • Для генеративных сценариев, где важна скорость: четыре шага, генерация изображений и видео без CFG, с возможностью дальнейшей оптимизации по таким критериям, как эстетика, согласованность текста и изображения, качество рендеринга текста
  • Код унифицирует различные методы в комбинацию «три опорные точки + три веса», что облегчает сравнение в одинаковых настройках
  • Опубликованы код и контрольные точки для версии изображений SD3.5-Medium и версии видео Wan2.1

Использование

  • Код: https://github.com/EDAPINENUT/fewsteprl-sd35(视频版 EDAPINENUT/fewsteprl-wan21); контрольные точки: Hugging Face Delcher/fewsteprl-sd35
  • После установки зависимостей выполните download_scripts/download_assets.sh для загрузки SD3.5-M и моделей вознаграждения, затем используйте scripts/train/<имя>.sh для обучения и scripts/eval/eval_ckpt.sh для оценки

Риски

  • Конфигурация обучения рассчитана на 8 GPU; для SD3.5-Medium необходимо предварительно принять лицензию на Hugging Face
  • При использовании только точности OCR в качестве вознаграждения возникает спекуляция наградой и снижение других метрик, что указано в README
  • Результаты генерации DMDAWM содержат легкую сетчатую текстуру; в демонстрации README она была размыта; данный пункт не был выполнен

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ