Titre original : Viggle/Viggle-Remake
Deux LoRA de rang 256 entraînés par Viggle sur MiniMax-H3 : swap est chargé de changer les personnages / rôles (plusieurs à la fois), edit gère les autres modifications – ajouter, supprimer ou remplacer des objets, changer l'arrière-plan, la météo, l'éclairage et le style. Les entrées sont la vidéo originale, 1–4 images clés dessinées (appelées Picture N dans les prompts, pouvant être épinglées à une image spécifique de la vidéo originale via --pin) et un prompt en six parties pour MiniMax-H3. La sortie conserve les mouvements, les plans, le rythme et la bande-son de l'original. Le dépôt inclut également un service MCP : confiez la vidéo et une exigence en une phrase à des agents de codage comme Claude Code ou codex ; ils découpent les plans, dessinent les images clés, rédigent les prompts, rendent chaque fenêtre sur votre GPU, vérifient les résultats, puis assemblent le tout avec la bande-son originale. C'est la Viggle-Animate v2 annoncée sur la carte Viggle-Animate. Le dépôt a été créé le 22 10, il n'a pas été inclus dans les numéros précédents.
Pourquoi c'est important Confiez la modification manuelle plan par plan à un agent : le découpage des plans, le dessin des images clés, le rendu, l'auto-vérification et la réassemblage avec la bande-son originale sont tous automatisés
Score de montée 95 · J'aime 97 · Téléchargements 5215
Raisons
- Répond au besoin de « changer les acteurs ou les décors d'un matériel existant sans le refilmer » : les exemples de l'auteur modifient un plan de La La Land en 22 versions (changement de personne, de costume, de météo, ajout/suppression d'objets, changement de style), ainsi qu'un clip vidéo de 116 secondes avec 69 points de montage et un segment de 101 secondes de Matrix 2 entièrement refaits, tout en conservant la musique originale.
- Le flux de travail complet par agent est la particularité de ce dépôt : un seul rendu traite une fenêtre de 90–345 images (24 fps, environ 12 secondes) ; pour les vidéos plus longues, MCP découpe les fenêtres aux points de montage autant que possible. L'auteur indique que faire tourner l'exemple White House Funk avec codex prend environ 1.5 heures sur deux GPU ; les images clés sont dessinées par l'agent à chaque exécution, ce qui entraîne des variations de détails.
- Les cartes graphiques plus modestes sont également prises en charge : le paquet de nœuds ComfyUI ne fait que compléter quatre choses que les nœuds intégrés ne peuvent pas faire (la manière de présenter les images de référence, épingler les images clés selon les numéros d'images réels, conserver proprement la bande-son originale, générer du bruit initial selon la graine), le reste utilise les nœuds intégrés. L'auteur propose également des fichiers uniques int8 (21.0 GB) et GGUF (Q8_0 22.3 GB, Q6_K 17.6 GB, Q4_K_M 14.3 GB) où les LoRA sont fusionnés dans le modèle de base en fp32 puis quantifiés ; les LoRA de faible rang 128 / 64 ne pèsent que 1.34 / 0.67 GB, et l'auteur affirme que la sortie est presque identique.
Utilisation
- Votre propre GPU : téléchargez le modèle de base MiniMaxAI/MiniMax-H3 (fichier d'environ 144 GB) et les dossiers lora/, inference/, examples/ et requirements.txt de ce dépôt (5.5 GB), exécutez pip install -r requirements.txt et installez ffmpeg, puis lancez python Viggle-Remake/inference/sample.py --mode swap (ou edit) --video source.mp4 --prompt prompt.txt --ref ref1.png --pin 12 --frames 124 --short-edge 480 --seed 0 --base ./MiniMax-H3 --lora-repo ./Viggle-Remake --out out.mp4 ; --frames doit être de la forme 17n+5, --short-edge 736 produit 1280×736. Ne faites pas git clone de tout le dépôt (avec git-lfs, cela télécharge environ 210 GB). examples/demo.sh permet de tester d'abord les exemples intégrés pour confirmer que les LoRA sont chargés.
- ComfyUI (testé par l'auteur sur 0.42.0) : utilisez le fichier unique fl2va de Comfy-Org/MiniMax-H3 comme modèle de base (pas ref2va), copiez comfyui/ComfyUI-Viggle-Remake dans custom_nodes, placez les LoRA dans models/loras et chargez-les avec LoraLoaderBypassModelOnly – l'auteur indique que le LoraLoaderModelOnly standard perd une partie significative des mises à jour LoRA en bf16, rendant l'image plus floue ; glissez-déposez comfyui/workflows/remake_swap_ui.json ou remake_edit_ui.json pour exécuter les exemples, convertissez d'abord vos propres médias en 24 fps. Lors de l'utilisation des fichiers fusionnés int8 / GGUF, ils remplacent à la fois le modèle de base et les LoRA, n'ajoutez pas de LoRA supplémentaires.
- Agent : hf download Viggle/Viggle-Remake --include "mcp/*" récupère uniquement le MCP (sans les poids), exécutez pip install -e . dans le dossier mcp (installez également '.[worker]' sur la machine GPU), lancez un viggle-remake-worker par carte, puis connectez le service à Claude Code ou codex, en lui fournissant une vidéo et une exigence en une phrase. La manière de dessiner les images clés, quand les épingler et comment rédiger les prompts en six parties est décrite par l'auteur dans PROMPTING.md dans le dépôt. Si vous ne souhaitez pas déployer vous-même, utilisez l'application Viggle.
Risques
- Barrière à l'entrée élevée : sample.py nécessite une carte graphique unique de plus de 80 GB (bf16) ; l'auteur a mesuré sur B200 qu'un rendu ComfyUI prend environ 95 secondes et utilise environ 130 GB de mémoire système, le modèle de base et son encodeur de texte sont indispensables.
- Problèmes connus listés par l'auteur : les personnages non humains dans un long plan échouent, il y a de petits défauts de détails, les séquences multi-plans dérivent temporellement si les images clés ne sont pas épinglées ; le son est simplement celui de l'original, si l'original est muet, la sortie l'est aussi.
- La capacité de changement de personne n'inclut aucune vérification d'identité ou de consentement intégrée ; l'identité est entièrement déterminée par les images clés que vous dessinez. L'auteur exige une utilisation uniquement sur des médias dont vous avez le droit de modifier, ne pas utiliser sur des personnes sans consentement, et étiqueter le contenu généré comme IA. Les droits d'auteur des extraits de films et de clips vidéo dans les exemples appartiennent aux propriétaires originaux ; aucune des deux licences n'accorde de droits sur ces médias ou portraits.
- Les poids sont sous la licence communautaire MiniMax H3 (les interfaces produits commerciales doivent afficher clairement MiniMax H3, un revenu annuel supérieur à 2000 10 000 USD nécessite une autorisation écrite préalable de MiniMax), le code est Apache-2.0 ; lors de la création d'un produit basé sur cela, l'auteur souhaite que vous mentionniez Powered by Viggle Remake.