Titre original : Efficient-Large-Model/Open-H3-Regenerate-2K-IC
Outil de régénération vidéo publié par Efficient-Large-Model (code disponible dans le dépôt NVlabs/Sana) : utilise la vidéo brouillon 768P générée par MiniMax-H3 comme vidéo de référence dans le contexte du transformeur Ref2VA, puis génère une version 1080P, 2K (2560×1440) ou 4K (3840×2160) du même segment à l'aide d'un LoRA de contexte (IC), en préservant les visages, la synchronisation labiale, le texte et la mise en page du brouillon. Par défaut, le brouillon est d'abord agrandi par un amplificateur d'espace latent, puis les dernières 3 étapes de la grille HyperFlow 8 sont exécutées ; il est également possible de choisir 4 étapes, ou d'exécuter les 8 étapes complètes à partir du bruit, avec un CFG de 1 dans tous les cas. Le dépôt inclut le code d'inférence, les scripts de téléchargement et les scripts de fusion des LoRA, facilitant l'utilisation dans les environnements ne pouvant charger qu'un seul LoRA.
Pourquoi c'est important Permet de tester rapidement les plans en basse résolution, puis de produire la version finale en haute définition une fois satisfait, sans modifier la mise en page ni la synchronisation labiale
Score de montée 60 · J'aime 60 · Téléchargements 11312
Raisons
- Convient au flux de travail « essai en basse résolution, puis production en haute résolution » ; l'auteur précise que les prompts peuvent réutiliser ceux utilisés pour générer le brouillon, ou être laissés vides
- Le dépôt regroupe le LoRA HyperFlow 8 étapes, le LoRA de netteté LMS Sharp, l'amplificateur d'espace latent et le décodeur VAE rapide, à récupérer en une seule fois via le script de téléchargement
Utilisation
- Après
pip install -r infer/requirements.txt, exécutezpython infer/download.py --out weights, puis lancezinfer.pyavectorchrun, en spécifiant la vidéo brouillon avec--inputet le prompt original avec--caption - Choisissez la résolution avec
--resolution: 2k (par défaut), 1080p ou 4k ; choisissez l'échantillonneur avec--sampler: up3 (par défaut), up4 ou hf8 ; passez un fichier jsonl avec--jobspour le traitement par lots
Risques
- Les commandes d'exemple utilisent 8 GPU ; le transformeur peut être réparti sur 1, 2, 4, 7 ou 8 cartes, mais les besoins en mémoire VRAM par carte unique ne sont pas précisés par l'auteur
- La licence communautaire de MiniMax H3 ne couvre pas l'Union européenne, le Royaume-Uni, la Corée du Sud et les États-Unis ; ce n'est pas un produit officiel de MiniMax, et des composants tiers comme LMS Sharp sont soumis à des conditions distinctes
- Cette entrée n'a pas été exécutée ; les résultats dépendent de la page du projet