FewStepRL: 4단계 확산 모델의 강화 학습 미세 조정

확산 모델에 강화 학습 후처리(post-training)를 적용할 때, 각 에폭마다 다단계 샘플링을 통해 샘플을 생성해야 하며 비용이 주로 여기서 발생합니다. 저단계(few-step) 모델은 대부분의 오버헤드를 줄일 수 있지만, 이들은 구간 평균 속도를 학습하는 반면 기존 RL 목표는 순간 속도를 기준으로 설계되어 있습니다. FewStepRL은 세 단계로 이를 개선합니다. 다양한 목표를 x 공간으로 통일하여 변환하고, 기울기를 참조 모델 방향의 자기회귀 항과 보상 강화 항으로 분해한 후, 저단계 모델을 사용하여 앵커를 재계산함으로써 FlowGRPO, AWM, DiffusionNFT, DiffusionOPSD 및 ReFL의 저단계 버전을 도출합니다. 저자들의 결론은 다음과 같습니다. 보상이 미분 가능하고 기울기 계산 비용이 낮을 경우 보상 기울기를 직접 사용하는 방법이 가장 효과적입니다. 그렇지 않은 경우 DiffusionNFT 계열 방법은 적은 반복 횟수로도 높은 보상을 달성할 수 있습니다. 추론 시 단계 수를 늘리는 것은 체계적인 성능 향상을 가져오지 않습니다.

원제: FewStepRL: Fine-tuning Few-step Diffusion Models with Reinforcement Learning

확산 모델에 강화 학습 후처리(post-training)를 적용할 때, 각 에폭마다 다단계 샘플링을 통해 샘플을 생성해야 하며 비용이 주로 여기서 발생합니다. 저단계(few-step) 모델은 대부분의 오버헤드를 줄일 수 있지만, 이들은 구간 평균 속도를 학습하는 반면 기존 RL 목표는 순간 속도를 기준으로 설계되어 있습니다. FewStepRL은 세 단계로 이를 개선합니다. 다양한 목표를 x 공간으로 통일하여 변환하고, 기울기를 참조 모델 방향의 자기회귀 항과 보상 강화 항으로 분해한 후, 저단계 모델을 사용하여 앵커를 재계산함으로써 FlowGRPO, AWM, DiffusionNFT, DiffusionOPSD 및 ReFL의 저단계 버전을 도출합니다. 저자들의 결론은 다음과 같습니다. 보상이 미분 가능하고 기울기 계산 비용이 낮을 경우 보상 기울기를 직접 사용하는 방법이 가장 효과적입니다. 그렇지 않은 경우 DiffusionNFT 계열 방법은 적은 반복 횟수로도 높은 보상을 달성할 수 있습니다. 추론 시 단계 수를 늘리는 것은 체계적인 성능 향상을 가져오지 않습니다.

왜 중요한가 저단계 모델은 이미지 생성 속도가 빠르지만, 기존 강화 학습 방법은 다단계 샘플링을 기준으로 설계되어 있습니다. 통합 코드베이스를 통해 4단계 모델도 선호도 보상 기준에 따라 계속 미세 조정할 수 있습니다.

좋아요 8 · 코드 스타 수 6

이유

  • 속도 중심의 생성 시나리오에 적합: 4단계로 CFG 없이 이미지 및 비디오를 생성하면서도 미적 감각, 텍스트-이미지 일관성, 텍스트 렌더링 등의 보상에 따라 계속 최적화 가능
  • 코드는 다양한 방법을 '세 개의 앵커 + 세 개의 가중치' 조합으로 통합하여 동일한 설정 하에서 비교하기 용이함
  • SD3.5-Medium 이미지 버전과 Wan2.1 비디오 버전의 코드 및 체크포인트가 모두 공개됨

사용법

  • 코드: https://github.com/EDAPINENUT/fewsteprl-sd35(视频版 EDAPINENUT/fewsteprl-wan21); 체크포인트: Hugging Face Delcher/fewsteprl-sd35
  • 의존성 설치 후 download_scripts/download_assets.sh를 실행하여 SD3.5-M 및 보상 모델을 다운로드하고, scripts/train/<name>.sh로 학습, scripts/eval/eval_ckpt.sh로 평가 수행

리스크

  • 학습 구성은 8 GPU 기준으로 작성됨; SD3.5-Medium 사용 전 Hugging Face에서 라이선스 동의 필요
  • OCR 정확도만 보상 지표로 사용할 경우 보상 허위 학습(reward hacking)이 발생하고 다른 지표가 하락할 수 있으며, README에 명시되어 있음
  • DMDAWM의 생성 결과에 약간의 격자 무늬가 나타나며, README 데모에서는 이를 흐리게 처리함; 본 항목은 실행되지 않음

열기 · 코드 · Hugging Face 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기