Titre original : Viggle/Viggle-Remake
Deux jeux de LoRA (rang 256) entraînés par Viggle sur le transformeur de base MiniMax-H3 : le mode swap remplace les personnes et les personnages, plusieurs à la fois ; le mode edit gère les autres modifications, y compris le remplacement, la suppression ou l'insertion d'objets, ainsi que le changement de fond, de météo ou d'éclairage. Les entrées sont la vidéo originale, 1–4 images clés dessinées (pouvant être épinglées à une image spécifique correspondante de la vidéo originale) et un prompt rédigé selon le format en six sections de MiniMax-H3. La sortie conserve les mouvements, les plans, le rythme et l'audio original de la vidéo. L'annonce officielle indique qu'il s'agit de la version v2 prévue sur la carte Viggle-Animate : Animate ne remplace que les personnages, tandis que Remake peut aussi modifier les objets et les scènes. Le dépôt inclut également un service MCP ; après avoir reçu une vidéo et une phrase, des agents tels que Claude Code ou codex segmentent automatiquement les plans, dessinent les images clés, rendent chaque fenêtre, vérifient les résultats, puis assemblent le tout avec l'audio original pour produire la vidéo complète.
Pourquoi c'est important Non seulement le remplacement de personnages est possible, mais aussi l'ajout ou la suppression d'objets, ainsi que le changement de scène et d'éclairage. De plus, un service MCP est inclus, permettant aux agents de programmation de segmenter les plans, dessiner les images clés et assembler la vidéo complète eux-mêmes.
Score en hausse 208 · J'aime 374 · Téléchargements 183188
Raisons
- Les exemples officiels incluent la création de 22 versions d'un plan du film La La Land, ainsi que le remplacement des personnages dans un clip vidéo complet de 116 secondes comportant 69 points de montage ; les vidéos plus longues sont découpées en fenêtres selon les points de montage et rendues séparément.
- Des options sont proposées selon la carte graphique : sans GPU, utilisez l'application Viggle ; avec 12–24 Go, exécutez manuellement le workflow via les fichiers int8 / GGUF de ComfyUI ; avec 32 Go (RTX 5090), vous pouvez exécuter l'agent et le moteur de rendu ComfyUI, officiellement environ 28 minutes pour une fenêtre de 1280×736 pixels et 345 images ; avec plus de 80 Go, utilisez le script de référence sample.py.
- Il existe également des LoRA plus petits de rang 128 / 64 (1.34 / 0.67 Go), dont la sortie est officiellement presque identique ; examples/demo.sh permet de vérifier si les LoRA sont bien chargés.
Utilisation
- Téléchargez d'abord le modèle de base MiniMaxAI/MiniMax-H3 (fichiers d'environ 144 Go) et les répertoires lora/, inference/, etc. de ce dépôt (environ 5.5 Go). Ne clonez pas tout le dépôt via git (qui pèse environ 210 Go avec tous les poids).
- Manuel : python inference/sample.py --mode swap (ou edit) --video vidéo_originale --prompt prompt --ref images_clés --pin numéro_image --frames 124 --short-edge 480 ; le nombre d'images doit être de la forme 17n+5, officiellement recommandé de ne pas dépasser 294.
- Agent : téléchargez uniquement le répertoire mcp/, installez le serveur avec pip install -e ., puis installez le worker sur une machine GPU. La rédaction des prompts est décrite dans PROMPTING.md.
Risques
- Il est possible d'insérer l'apparence d'une personne réelle dans une vidéo où elle n'a pas consenti à apparaître ; le modèle ne vérifie pas l'identité ni les autorisations. L'usage officiel exige que seuls des médias dont vous avez le droit de modifier soient utilisés, et que la génération par IA soit clairement indiquée.
- Les poids sont dérivés du modèle MiniMax H3. Pour un usage commercial, il faut afficher clairement « MiniMax H3 » dans l'interface. Si le chiffre d'affaires annuel dépasse 2000 millions de dollars, une autorisation écrite préalable de MiniMax est requise ; les droits sur les extraits de films utilisés dans les exemples appartiennent à leurs propriétaires respectifs.
- Le rendu unique prend environ 12 secondes ; l'utilisation d'un prompt au format en six sections est obligatoire. Les problèmes connus listés officiellement incluent les plans longs avec des personnages non humains, les petits défauts de détails et la dérive entre plusieurs plans lorsque les images ne sont pas épinglées ; cette entrée n'a pas été exécutée.