ReDiverse — это исследование Университета Иллинойса в Урбана-Шампейн, компании fal и Университета Джонса Хопкинса: авторы обнаружили, что модели с малым числом шагов дистилляции выдают почти идентичные изображения при смене случайного зерна из-за того, что активации одного модуля на первом шаге сжимаются в меньшее количество направлений. Этот LoRA ранга 32 позволяет модели MiniMax-H3 Turbo с 4 шагами согласовать активации в указанном месте с оригинальной моделью MiniMax-H3, влияя только на выборку первого шага; авторы сообщают, что показатель разнообразия по VBench вырос с 36.5 до 44.1, а при добавлении не требующей обучения методики ReDiverse-TF достигает 50.9 (для оригинальной многошаговой модели — 52.5). Одновременно была выпущена версия для Pika H3 Flex с 6 шагами, оба файла имеют размер по 612 МБ.
Почему это важно Модели с малым числом шагов дистилляции часто выдают почти идентичные кадры при смене случайного зерна; метод влияет только на первый шаг, остальные шаги остаются без изменений, также существует версия для Pika H3 Flex.
Лайки «обнимающего лица» 9 · Рост рейтинга «обнимающего лица» 9 · Загрузки «обнимающего лица» 48
Лицензия: условное коммерческое использование · ComfyUI: отсутствует · Память GPU: не указана
Региональные ограничения лицензии: открытая лицензия на веса MiniMax H3 не распространяется на Европейский союз, Великобританию, Южную Корею и США (Excluded Territories в LICENSE), для этих регионов требуется отдельная авторизация от MiniMax.
Причины
- Приложены научная статья, код для исследования активаций и примеры сравнения с одинаковым случайным зерном; в той же серии существуют версии для SDXL, SD3 и Wan 2.1
Использование
- Клонируйте github.com/H-furkan/rediverse и создайте окружение для видео согласно envs/README.md, примите условия использования на Hugging Face и войдите в аккаунт, затем выполните hf download ReDiverse/ReDiverse-MiniMax-H3 --local-dir ReDiverse-MiniMax-H3, запустите python -m h3.generate --arm rediverse_ft --adapter ReDiverse-MiniMax-H3 --prompt "…" --num-samples 4; для версии Pika H3 Flex используйте generate_pika.py из этого репозитория, флаг --compare выведет видео с тем же случайным зерном без адаптера
Риски
- Выпущено в исследовательских целях, подчиняется лицензионному соглашению сообщества MiniMax H3, не применимо в Европейском союзе, Великобритании, Южной Корее и США; для загрузки требуется вход в аккаунт и принятие условий использования
- При использовании --arm rediverse с добавлением ненаправленных векторов без обучения, для каждого нового промпта необходимо сначала выполнить 25 прогонов оригинальной модели (по словам авторов, это занимает около 1 GPU-часов на 80 ГБ H100); методика обучалась и тестировалась только для генерации видео из текста, авторы предоставили только скрипты командной строки, узлы ComfyUI пока отсутствуют