pi-H3 : Adaptateur H3 accéléré pour générer des vidéos avec audio en deux à quatre étapes

Adaptateur MiniMax H3 à faible nombre d'étapes, téléchargé le 12 11 par Hansheng Chen et al. de l'Université Stanford (certains travaux réalisés chez Luma AI), prenant en charge la génération vidéo à partir de texte, les conditions d'image initiale, d'image finale et d'images initiale et finale, tout en générant un audio synchronisé. La méthode combine la distillation à faible nombre d'étapes sans données pi-Flow v2 et DWD (Decoding Without a Decoder, article arXiv 2611.22287) : la dernière étape est prédite directement en pixels par le réseau de débruitage, sans passer par le décodeur VAE, le VAE n'étant utilisé que pour encoder les images initiale et finale. Quatre adaptateurs sont disponibles : des versions DWD et des versions utilisant le décodage VAE pour 2 et 4 étapes respectivement ; les versions DWD incluent également des fichiers INT8 ConvRot destinés uniquement à ComfyUI, et les auteurs recommandent les versions DWD.

Titre original : Lakonik/pi-H3

Adaptateur MiniMax H3 à faible nombre d'étapes, téléchargé le 12 11 par Hansheng Chen et al. de l'Université Stanford (certains travaux réalisés chez Luma AI), prenant en charge la génération vidéo à partir de texte, les conditions d'image initiale, d'image finale et d'images initiale et finale, tout en générant un audio synchronisé. La méthode combine la distillation à faible nombre d'étapes sans données pi-Flow v2 et DWD (Decoding Without a Decoder, article arXiv 2611.22287) : la dernière étape est prédite directement en pixels par le réseau de débruitage, sans passer par le décodeur VAE, le VAE n'étant utilisé que pour encoder les images initiale et finale. Quatre adaptateurs sont disponibles : des versions DWD et des versions utilisant le décodage VAE pour 2 et 4 étapes respectivement ; les versions DWD incluent également des fichiers INT8 ConvRot destinés uniquement à ComfyUI, et les auteurs recommandent les versions DWD.

Pourquoi c'est important Réduit la génération vidéo avec audio synchronisé sur H3 à deux ou quatre étapes, tout en éliminant le décodeur vidéo ; les auteurs fournissent des workflows ComfyUI et une version INT8, permettant des tests sur des cartes graphiques grand public

Score de montée 55 · J'aime 75 · Téléchargements 0

Raisons

  • Vitesse indiquée par les auteurs dans la documentation ComfyUI : avec DWD à 2 étapes + INT8 + attention creuse Sol, sur une RTX 3090 (CUDA 13), une vidéo de 5 secondes en 864×480 est générée en 15.5 secondes, une vidéo de 10 secondes en 37.3 secondes, et une vidéo de 5 secondes en 1344×768 est générée en 38.5 secondes (modèle chargé, prompt encodé)
  • Le dépôt de code fournit également une quantification FP8 et l'attention creuse Sol ; une démonstration en ligne Space par les auteurs est disponible sur Hugging Face, avec des comparaisons de qualité et de vitesse sur le blog des auteurs
  • Les quatre adaptateurs prennent en charge les conditions texte, image initiale et image finale ; passer de 2 à 4 étapes ne nécessite qu'une modification de paramètre

Utilisation

  • ComfyUI : installez le nœud ComfyUI-piFlow, importez pi-H3-DWD.json ; utilisez le modèle de base minimax_h3_fl2va_pruned_int8_convrot de Comfy-Org/MiniMax-H3, placez l'adaptateur dans models/loras, et sélectionnez 2 ou 4 étapes sur le nœud pi-H3 Adapter
  • diffusers : installez selon la documentation pi-H3 de LakonLab v0.3, chargez pi_h3_4step_dwd_adapter de Lakonik/pi-H3 via load_lakonlab_adapter ; passez les images initiale et finale via image= / last_image=
  • Essai en ligne : https://huggingface.co/spaces/Lakonik/pi-H3

Risques

  • L'adaptateur est un modèle dérivé de MiniMax H3, distribué sous la licence communautaire MiniMax H3 ; consultez les conditions de licence avant toute utilisation commerciale
  • Nécessite le code LakonLab des auteurs ou le nœud personnalisé ComfyUI-piFlow, ce n'est pas natif à ComfyUI ; le tableau de vitesse a été testé par les auteurs sur une 3090 avec gpu-unlock activé, cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA