Titre original : Restoring Diversity in Distilled Image and Video Generators by Probing Activations
La distillation des modèles de diffusion en modèles étudiants à faible nombre d'étapes réduit considérablement la latence d'échantillonnage, mais les résultats générés avec différentes graines aléatoires sont très similaires. Les auteurs ont comparé les activations internes des modèles enseignant et étudiant, et ont constaté que la variance totale des activations de l'étudiant est comparable à celle de l'enseignant, mais qu'elle est concentrée sur un nombre beaucoup plus restreint de directions, et que l'effondrement se produit dans un module intermédiaire de la première étape de débruitage. ReDiverse propose deux approches correctives : ReDiverse-FT entraîne un adaptateur léger pour ramener les activations de l'étudiant dans ce module vers celles de l'enseignant ; ReDiverse-TF n'entraîne rien et ajuste les activations lors de l'inférence le long des directions principales pré-calculées de l'enseignant. Les auteurs affirment avoir restauré la diversité sur les benchmarks de distillation d'images et de vidéos, tout en maintenant la qualité de génération, ce que confirme également une étude utilisateur.
Pourquoi c'est important Générer des images ou des vidéos en quatre étapes est rapide, mais changer la graine produit des images presque identiques ; cette méthode restaure la variation sans augmenter le nombre d'étapes, et des adaptateurs prêts à l'emploi sont disponibles pour SDXL, Wan et MiniMax H3
J'aime 2 · Étoiles du code 2
Raisons
- Couvre quatre paires enseignant / étudiant : SDXL (DMD2), SD3 (TDM), Wan 2.1 (lightx2v) et MiniMax-H3 (Turbo), avec également publication d'un adaptateur pour Pika H3 Flex
- L'adaptateur est une LoRA agissant uniquement sur la première étape ; la version sans entraînement ne modifie aucun poids, et les deux approches peuvent être combinées
- Fournit un outil de sonde d'activations permettant de tester soi-même à partir de quel module un modèle distillé commence à s'effondrer
Utilisation
- Code : compte ReDiverse https://github.com/H-furkan/rediverse(Apache-2.0);适配器在抱脸, les scripts de génération téléchargent automatiquement les ressources lors de la première exécution
- Créez un environnement distinct pour chaque modèle de base, et générez avec des commandes telles que python -m wan.generate --arm rediverse --prompt "…" --num-samples 4 ; l'option --arm accepte teacher, student, rediverse_ft, rediverse_tf ou rediverse pour les comparaisons
Risques
- L'adaptateur hérite de la licence du modèle de base : la version SDXL est sous CC BY-NC-SA 4.0 avec les restrictions Open RAIL++-M ; les versions MiniMax-H3 et Pika H3 Flex sont soumises à la licence communautaire MiniMax H3, qui ne couvre pas l'Union européenne, le Royaume-Uni, la Corée du Sud et les États-Unis
- La version sans entraînement nécessite d'estimer les directions de l'enseignant pour chaque prompt, ce qui prend du temps pour les modèles vidéo (le README indique environ une heure GPU pour MiniMax-H3) ; toutes les expériences des auteurs ont été réalisées sur des GPU de 80 Go H100
- Les résultats sont rapportés par les auteurs ; cette entrée n'a pas été exécutée
Ouvrir · Code · Page du papier