ReDiverse: возвращение разнообразия, утраченного в дистиллированных генеративных моделях с малым числом шагов

Дистилляция диффузионных моделей в ученические модели с малым числом шагов значительно снижает задержку при сэмплировании, однако результаты, полученные с разными случайными семенами, почти не отличаются. Авторы сравнили внутренние активации учителя и ученика и обнаружили, что общая дисперсия активаций ученика сопоставима с дисперсией учителя, но сосредоточена в значительно меньшем числе направлений, причём коллапс происходит в одном из промежуточных модулей на первом шаге денойзинга. ReDiverse предлагает два решения: ReDiverse-FT обучает лёгкий адаптер, возвращающий активации ученика в этом модуле к значениям учителя; ReDiverse-TF не требует обучения и корректирует активации во время инференса вдоль заранее вычисленных главных направлений учителя. Авторы утверждают, что на бенчмарках дистилляции изображений и видео удалось восстановить разнообразие при сохранении качества генерации, что подтверждается и пользовательскими исследованиями.

Оригинальное название: Restoring Diversity in Distilled Image and Video Generators by Probing Activations

Дистилляция диффузионных моделей в ученические модели с малым числом шагов значительно снижает задержку при сэмплировании, однако результаты, полученные с разными случайными семенами, почти не отличаются. Авторы сравнили внутренние активации учителя и ученика и обнаружили, что общая дисперсия активаций ученика сопоставима с дисперсией учителя, но сосредоточена в значительно меньшем числе направлений, причём коллапс происходит в одном из промежуточных модулей на первом шаге денойзинга. ReDiverse предлагает два решения: ReDiverse-FT обучает лёгкий адаптер, возвращающий активации ученика в этом модуле к значениям учителя; ReDiverse-TF не требует обучения и корректирует активации во время инференса вдоль заранее вычисленных главных направлений учителя. Авторы утверждают, что на бенчмарках дистилляции изображений и видео удалось восстановить разнообразие при сохранении качества генерации, что подтверждается и пользовательскими исследованиями.

Почему это важно Генерация изображений и видео за четыре шага работает быстро, но при смене семени картинка почти не меняется; метод возвращает разнообразие без увеличения числа шагов, готовые адаптеры доступны для SDXL, Wan и MiniMax H3

Лайков 2 · Звёзд в репозитории 2

Причины

  • Покрытие четырёх пар «учитель / ученик»: SDXL (DMD2), SD3 (TDM), Wan 2.1 (lightx2v) и MiniMax-H3 (Turbo), а также выпущен адаптер для Pika H3 Flex
  • Адаптер представляет собой LoRA, действующую только на первом шаге; версия без обучения не изменяет веса, оба подхода можно комбинировать
  • Прилагается инструмент для зондирования активаций, позволяющий самостоятельно определить, с какого модуля начинается коллапс в конкретной дистиллированной модели

Использование

  • Код: аккаунт ReDiverse https://github.com/H-furkan/rediverse(Apache-2.0);适配器在抱脸, скрипты генерации автоматически загружают зависимости при первом запуске
  • Для каждой базовой модели создаётся отдельное окружение; генерация выполняется командами вида python -m wan.generate --arm rediverse --prompt "…" --num-samples 4; параметр --arm может принимать значения teacher, student, rediverse_ft, rediverse_tf или rediverse для сравнения

Риски

  • Адаптеры наследуют лицензию базовой модели: версия для SDXL распространяется под CC BY-NC-SA 4.0 с ограничениями Open RAIL++-M; версии для MiniMax-H3 и Pika H3 Flex подчиняются лицензии сообщества MiniMax H3, которая не действует в ЕС, Великобритании, Южной Корее и США
  • В версии без обучения для каждого промпта необходимо сначала оценить направления учителя, что для видео-моделей занимает много времени (в README указано, что для MiniMax-H3 требуется около одного GPU-часа); все эксперименты авторов проводились на GPU с 80 ГБ памяти H100
  • Результаты приведены по данным авторов; в данном обзоре они не проверялись

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ