ReDiverse: 증류된 저스텝 생성 모델에서 손실된 다양성 복원

확산 모델을 저스텝 학생 모델로 증류하면 샘플링 지연을 크게 줄일 수 있지만, 서로 다른 랜덤 시드로 생성한 결과물 간의 차이가 매우 작습니다. 저자들은 교사 모델과 학생 모델의 내부 활성화를 비교하여, 학생 모델의 활성화 총 분산은 교사 모델과 유사하지만 훨씬 적은 방향으로 집중되어 있으며, 붕괴 현상은 첫 번째 디노이징 단계의 특정 중간 모듈에서 발생한다는 사실을 발견했습니다. ReDiverse는 두 가지 보완 방법을 제시합니다: ReDiverse-FT는 경량 어댑터를 학습하여 학생 모델이 해당 모듈의 활성화를 교사 모델에 맞게 복원하도록 하고, ReDiverse-TF는 학습 없이 추론 시 사전 계산된 교사 모델의 주성분 방향을 따라 활성화를 조정합니다. 저자들은 이미지 및 비디오 증류 벤치마크에서 생성 품질을 유지하면서 다양성을 회복했다고 주장하며, 사용자 연구도 이 결론을 뒷받침합니다.

원제: Restoring Diversity in Distilled Image and Video Generators by Probing Activations

확산 모델을 저스텝 학생 모델로 증류하면 샘플링 지연을 크게 줄일 수 있지만, 서로 다른 랜덤 시드로 생성한 결과물 간의 차이가 매우 작습니다. 저자들은 교사 모델과 학생 모델의 내부 활성화를 비교하여, 학생 모델의 활성화 총 분산은 교사 모델과 유사하지만 훨씬 적은 방향으로 집중되어 있으며, 붕괴 현상은 첫 번째 디노이징 단계의 특정 중간 모듈에서 발생한다는 사실을 발견했습니다. ReDiverse는 두 가지 보완 방법을 제시합니다: ReDiverse-FT는 경량 어댑터를 학습하여 학생 모델이 해당 모듈의 활성화를 교사 모델에 맞게 복원하도록 하고, ReDiverse-TF는 학습 없이 추론 시 사전 계산된 교사 모델의 주성분 방향을 따라 활성화를 조정합니다. 저자들은 이미지 및 비디오 증류 벤치마크에서 생성 품질을 유지하면서 다양성을 회복했다고 주장하며, 사용자 연구도 이 결론을 뒷받침합니다.

왜 중요한가 4단계로 이미지나 영상을 빠르게 생성할 수 있지만, 시드를 바꿔도 화면이 거의 동일합니다. 이 방법은 단계 수를 늘리지 않고 변화(다양성)를 복원하며, SDXL, Wan, MiniMax H3에 대해 이미 사용 가능한 어댑터가 제공됩니다

좋아요 2 · 코드 스타 수 2

이유

  • SDXL(DMD2), SD3(TDM), Wan 2.1(lightx2v) 및 MiniMax-H3(Turbo)의 4개 교사/학생 모델 쌍을 지원하며, Pika H3 Flex용 어댑터도 공개됨
  • 어댑터는 첫 번째 단계에서만 작동하는 LoRA이며, 학습이 필요 없는 버전은 가중치를 변경하지 않고 두 방법을 함께 사용할 수 있음
  • 활성화 프로브 도구가 포함되어 있어 특정 증류 모델이 어느 모듈부터 붕괴되는지 직접 테스트할 수 있음

사용법

  • 코드: https://github.com/H-furkan/rediverse(Apache-2.0);适配器在抱脸 ReDiverse 계정에서 제공되며, 생성 스크립트 실행 시 자동으로 다운로드됨
  • 각 백본 모델별로 별도의 환경을 설정하고, python -m wan.generate --arm rediverse --prompt "…" --num-samples 4와 같은 명령어를 사용하여 생성합니다. --arm 옵션으로는 teacher, student, rediverse_ft, rediverse_tf, rediverse를 선택하여 비교할 수 있습니다

리스크

  • 어댑터는 기본 모델의 라이선스를 따릅니다: SDXL 버전은 CC BY-NC-SA 4.0 및 Open RAIL++-M 제한이 적용되며, MiniMax-H3 및 Pika H3 Flex 버전은 MiniMax H3 커뮤니티 라이선스의 제약을 받으며 유럽 연합, 영국, 한국 및 미국은 적용 대상에서 제외됩니다
  • 학습이 필요 없는 버전은 각 프롬프트에 대해 교사 모델의 방향을 먼저 추정해야 하며, 비디오 모델의 경우 시간이 오래 걸립니다(README에 따르면 MiniMax-H3는 약 1 GPU 시간 소요). 저자들의 모든 실험은 80GB H100에서 수행되었습니다
  • 성능 지표는 저자들이 보고한 수치이며, 본 항목에서는 실행되지 않았습니다

열기 · 코드 · 논문 페이지 열기

Hugging Face Daily Papers

최신 AI 소식 보기