ReDiverse-MiniMax-H3

ReDiverse est une recherche menée par l'Université de l'Illinois à Urbana-Champaign, fal et l'Université Johns Hopkins : les auteurs ont découvert que les modèles distillés à faible nombre d'étapes produisent des images presque identiques malgré un changement de graine, car les activations d'un certain module à la première étape se concentrent sur un nombre réduit de directions. Ce LoRA de rang 32 permet au MiniMax-H3 Turbo en 4 étapes d'aligner les activations à cet endroit sur celles du MiniMax-H3 original, n'agissant que lors de l'échantillonnage de la première étape ; les auteurs rapportent que le score de diversité sur VBench passe de 36.5 à 44.1, atteignant 50.9 avec l'ajout de ReDiverse-TF sans entraînement (le score original multi-étapes étant de 52.5). Une version destinée au Pika H3 Flex en 6 étapes a également été publiée simultanément, chaque fichier pesant 612 Mo.

ReDiverse est une recherche menée par l'Université de l'Illinois à Urbana-Champaign, fal et l'Université Johns Hopkins : les auteurs ont découvert que les modèles distillés à faible nombre d'étapes produisent des images presque identiques malgré un changement de graine, car les activations d'un certain module à la première étape se concentrent sur un nombre réduit de directions. Ce LoRA de rang 32 permet au MiniMax-H3 Turbo en 4 étapes d'aligner les activations à cet endroit sur celles du MiniMax-H3 original, n'agissant que lors de l'échantillonnage de la première étape ; les auteurs rapportent que le score de diversité sur VBench passe de 36.5 à 44.1, atteignant 50.9 avec l'ajout de ReDiverse-TF sans entraînement (le score original multi-étapes étant de 52.5). Une version destinée au Pika H3 Flex en 6 étapes a également été publiée simultanément, chaque fichier pesant 612 Mo.

Pourquoi c'est important Les modèles distillés à faible nombre d'étapes produisent souvent des plans presque identiques lors d'un changement de graine ; cette solution n'agit que sur la première étape, les autres étapes restant inchangées, et une version pour Pika H3 Flex est également disponible.

J'aime sur Hugging Face 9 · Score de tendance sur Hugging Face 9 · Téléchargements sur Hugging Face 48

Licence : usage commercial sous conditions · ComfyUI : non disponible · VRAM : non spécifiée

Licence régionale : la licence de poids ouverts MiniMax H3 exclut l'Union européenne, le Royaume-Uni, la Corée du Sud et les États-Unis (Territoires exclus dans la LICENSE) ; une autorisation distincte de MiniMax est requise pour ces quatre régions.

Raisons

  • Inclut le papier, le code de sondage des activations et des exemples de comparaison avec la même graine ; d'autres versions de la série existent pour SDXL, SD3 et Wan 2.1

Utilisation

  • Clonez github.com/H-furkan/rediverse et configurez l'environnement vidéo selon envs/README.md, acceptez les conditions et connectez-vous sur Hugging Face, puis exécutez hf download ReDiverse/ReDiverse-MiniMax-H3 --local-dir ReDiverse-MiniMax-H3, lancez python -m h3.generate --arm rediverse_ft --adapter ReDiverse-MiniMax-H3 --prompt "…" --num-samples 4 ; pour la version Pika H3 Flex, utilisez generate_pika.py dans son dépôt, et l'ajout de --compare générera également une vidéo avec la même graine sans l'adaptateur

Risques

  • Publiée à des fins de recherche, soumise à la licence communautaire MiniMax H3, non applicable dans l'Union européenne, le Royaume-Uni, la Corée du Sud et les États-Unis ; le téléchargement nécessite une connexion et l'acceptation des conditions
  • Lors de l'application de la direction sans entraînement avec --arm rediverse, chaque nouveau prompt nécessite 25 exécutions du modèle original (les auteurs estiment environ 1 heures GPU sur une H100 de 80 Go) ; entraîné et testé uniquement pour la génération vidéo à partir de texte, seuls des scripts en ligne de commande sont fournis, aucun nœud ComfyUI n'est disponible pour le moment

Ouvrir

抱脸 text-to-video 新模型

Parcourir les dernières actualités IA