akhaliq a fusionné par couches l'adaptateur de style officiel Pika-H3-Flex de Pika et le LoRA de distillation en peu d'étapes de MiniMax-H3 (lightx2v Turbo, pDMD 2 étapes) en un seul LoRA standard : intégré dans un flux de travail MiniMax-H3 classique, il permet de générer des vidéos avec audio en 2, 4 ou 8 étapes, sans nœuds personnalisés ni modification du modèle. Pika-H3-Flex lui-même a été inclus le 30 10, mais cette version fusionnée n'avait pas été incluse dans les numéros précédents.
Score de progression 78 · J'aime 78 · Téléchargements 28961
Raisons
- Mesures de l'auteur (848×480, 121 images avec stéréo, CFG 1) : sur H200, l'adaptateur officiel Pika prend environ 60 secondes pour une vidéo de 5 secondes en 6 étapes, tandis que ce LoRA prend environ 40 secondes en 4 étapes et environ 25 secondes pour un brouillon en 2 étape ; sur A100, c'est 109.3 secondes contre 66.0 secondes. L'accélération provient entièrement de la réduction du nombre d'étapes, la durée par étape restant inchangée.
- La méthode consiste en une concaténation des rangs, que l'auteur décrit comme numériquement équivalente au chargement simultané de deux LoRA (erreur relative par couche de l'ordre de 1e-7), et non comme une fusion approximative ; l'intensité du style Flex est fixée à 0.5 (2 / 4 étapes) et 0.6 (8 étapes HD).
- Sept fichiers au total, répartis en deux catégories : FL2VA (génération texte-image / image-image standard) et Ref2VA (références multiples) ; il existe également une version légère de rang 32, de 0.31 Go, dont l'auteur affirme qu'elle conserve 96.1% de l'énergie spectrale. Le dépôt contient des vidéos comparatives et des scripts de reproduction.
Utilisation
- ComfyUI : placez le fichier correspondant au flux de travail dans models/loras (fl2va pour la génération texte-image / image-image standard, ref2va pour les flux avec images de référence), ajoutez LoraLoaderModelOnly dans le flux de travail MiniMax-H3, avec une intensité de 1.0.
- Échantillonnage : le nombre d'étapes correspond au fichier choisi (2, 4 ou 8 étapes), CFG 1.0, échantillonneur euler / lcm / res_multistep, planificateur simple ; utilisez un décalage vidéo de 6.0 (FL2VA) ou 12.0 (Ref2VA), et un décalage audio de 3.0.
- Commencez par la version en 2 étape pour définir la composition et les mouvements, puis finalisez avec la version en 4 ou 8 étapes ; il peut également être chargé comme un LoRA standard dans Diffusers.
Risques
- Fusion personnelle, non officielle de Pika ou MiniMax ; les comparaisons de vitesse et de qualité visuelle sont réalisées par l'auteur, et les démonstrations principales utilisent le modèle fusionné communautaire Singularity, et non le H3 original. Cette rubrique n'a pas visionné les vidéos comparatives.
- Avertissement de l'auteur : en dessous d'environ 6 étapes, la qualité audio se dégrade, ce qui est particulièrement visible en 2 étape ; la version en 2 étape échoue parfois entièrement et ne convient qu'aux brouillons ; les mouvements rapides sont un point faible des modèles en peu d'étapes. N'ajoutez pas de LoRA de style ou de mouvement à forte intensité sur les versions en 2 / 4 étapes.
- La licence suit la licence communautaire MiniMax H3 (modèle dérivé de MiniMax-H3) ; consultez les conditions originales avant toute utilisation commerciale ; la version standard pèse 3.9 Go par fichier.