Titre original : Efficient-Large-Model/Open-H3-Regenerate-2K
Alternative ouverte proposée par NVIDIA (NVlabs Sana / SoL-Engine) à l'API fermée H3-Regenerate-2K : agrandir le brouillon 768P de MiniMax-H3 (1344×768, 121 images) par un facteur 2 dans l'espace latent, puis effectuer trois étapes de débruitage avec MiniMax-H3 et un LoRA fusionné pour produire une vidéo de 2560×1440 ; le code prend également en charge 1080p et deux agrandissements successifs jusqu'à 4K. Le LoRA fusionné est constitué de trois adaptateurs concaténés par rang : le raffineur Open-H3 (rang 384), LightX2V FL2VA Turbo v1.2 (rang 128) et LMS Sharp v1.0 (rang 64). Selon les auteurs, par rapport à l'utilisation séparée des trois adaptateurs, l'erreur relative sur l'ensemble des 312 couches linéaires n'est que de 2.2e-8. Le dépôt inclut également l'amplificateur d'espace latent par convolution 3D de l'auteur, un décodeur VAE rapide distillé à partir de StreamRender-H3 (1.62B paramètres) et une copie non modifiée du modèle de base MiniMax-H3. Le dépôt a été créé le 26 10, il n'avait pas été inclus dans les numéros précédents.
Score de progression 79 · J'aime 223 · Téléchargements 562558
Raisons
- Répond au besoin de « générer rapidement une vidéo en basse résolution, puis produire une version 2K une fois satisfait », sans avoir à payer pour une API fermée ; l'entrée peut être une vidéo brouillon H3, des variables latentes H3 existantes, ou l'ajout de --hyperflow pour générer d'abord un brouillon 768P à partir d'une simple invite avant de le raffiner.
- Selon les chiffres officiels, sur une seule B200, le passage d'un segment de 5 secondes des variables latentes 768P à 2560×1440 prend : 87.26 secondes avec l'attention dense originale en BF16 ; 37.39 secondes (2.33 fois plus rapide) en utilisant l'attention sparse Sol-Attn, MXFP8 et CUDA Graph ; et 22.45 secondes au total (3.89 fois plus rapide) en ajoutant le décodeur VAE rapide (le décodage passant de 15 secondes à 1.6 secondes). Le README du code détaille la contribution de chaque optimisation.
- Le nombre de téléchargements 562558 et de j'aime 223 reflète uniquement le niveau d'attention.
Utilisation
- Le code se trouve dans la branche sol-engine du dépôt GitHub NVlabs/Sana, sous models/Open-H3-Regenerate-2K : Linux, Python 3.11, PyTorch 2.11 + CUDA 13.0, pip install -r requirements.txt, puis pip install -e ../../techniques/sparse_backends (Sol-Attn, nécessaire pour accélérer la propagation avant) ; python download.py --weights ./weights --hyperflow pour télécharger tous les poids.
- Avec un brouillon existant : python infer.py --weights ./weights --input-video draft.mp4 --prompt "…" --output out.mp4 ; avec uniquement une invite : ajoutez --hyperflow ; pour la vitesse maximale, utilisez --fwd sol_engine_fast, pour la sortie la plus proche de l'original, utilisez la valeur par défaut sol_engine ou --fwd standard ; --resolution accepte 768p / 1080p / 2k / 4k, et --steps 2 peut être réduit à deux étapes.
- Paramètres d'échantillonnage lors de l'intégration dans votre propre pipeline : trois étapes Euler, sigmas [0.909375, 0.857143, 0.666667, 0], CFG 1.
Risques
- Les chiffres de vitesse ont été mesurés sur B200 / GB200 ; MXFP8 et Sol-Attn ont des exigences spécifiques en matière de carte graphique et de pile logicielle ; les auteurs ne fournissent pas de données pour les cartes graphiques grand public, ni de flux de travail ComfyUI.
- La première rencontre avec une nouvelle forme de variable latente nécessite la construction d'un moteur et l'enregistrement d'un CUDA Graph (environ 39 secondes) ; sol_engine_fast est plus rapide, mais les auteurs indiquent que les détails s'éloignent davantage de la sortie originale.
- Les licences sont hétérogènes : le LoRA de raffinement, le VAE rapide et la copie du modèle de base sont sous la licence communautaire MiniMax H3 (incluant des clauses géographiques, d'usage et de redistribution), tandis que LightX2V Turbo, LMS Sharp et l'amplificateur d'espace latent intégrés restent sous leurs licences respectives ; il n'y a pas de licence unifiée.