Titre original : Pika-Labs/Pika-H3-Flex
Pika propose un ensemble d'adaptateurs LoRA entraînés en post-traitement sur MiniMax-H3, générant des vidéos avec stéréo synchronisée, officiellement produites en six étapes d'échantillonnage. Deux adaptateurs sont disponibles : FL2VA gère la génération vidéo à partir de texte ainsi que le contrôle des premières, dernières et premières/dernières images ; Ref2VA gère les références multimodales, acceptant jusqu'à 9 images, 3 séquences vidéo et 3 séquences audio, pour un total de 12 fichiers de référence. L'inférence open source locale produit nativement des résolutions 480p / 768p, à 24 fps, avec une durée de 5 à 15 secondes, et prend en charge 11 formats d'image ; les résolutions de 1080p à 4K, l'audio en pistes séparées et l'amélioration des prompts ne sont disponibles que via l'API hébergée de Pika.
Pourquoi c'est important Les poids ouverts peuvent s'exécuter localement, ComfyUI dispose de workflows officiels, ce qui convient aux courts métrages multi-plans, aux vidéos de produits et à l'animation basée sur des images de référence
Score de montée 151 · J'aime 528 · Téléchargements 1083
Raisons
- Un seul modèle génère simultanément l'image et le son (bruitage, dialogues, musique), sans nécessiter de modèle audio séparé
- Deux modes de contrôle : images de début/fin et références multiples ; les cas d'usage listés par les auteurs incluent la narration multi-plans, le motion design, les vidéos de produits et l'animation basée sur des images de référence
- ComfyUI propose déjà des tutoriels officiels et trois modèles de workflows (R2V, FL2VA, T2V) ; le dépôt inclut des LoRA au format BF16 pour Comfy
Utilisation
- Clonez le dépôt GitHub Pika-Labs/Pika-H3-Flex, installez-le via pip / Conda / Docker en suivant le guide de démarrage rapide, et utilisez la commande pika-h3-pro pour sélectionner les tâches t2va, i2va, l2va, fl2va ou ref2va
- ComfyUI : utilisez les LoRA dans comfy/loras/ avec le modèle de base MiniMax-H3, en appliquant les modèles de workflow officiels Pika H3 Flex
- Rédigez les prompts par segments temporels selon le guide officiel, en décrivant les mouvements de caméra, les actions, les dialogues et les sons
Risques
- Les adaptateurs sont publiés sous la licence communautaire MiniMax H3 ; lisez attentivement les conditions avant toute utilisation commerciale
- Les composants du modèle de base totalisent environ 210 Go ; les tests officiels ne sont fournis que pour H100 80Go, et les demandes volumineuses nécessitent l'activation du déchargement CPU (CPU offload)
- Les vidéos de démonstration sont des exemples créatifs ; les développeurs précisent qu'une reproduction exacte avec le package publié n'est pas garantie
- Cette entrée n'a pas été testée ; les performances dépendent de la fiche du modèle