Utiliser un seul modèle vidéo pour trois types de génération d'images conditionnelles : traiter l'image d'entrée (sujet de référence, croquis Canny ou image originale à éditer) comme une frame antérieure dans la vidéo, et l'image à générer comme la frame cible ultérieure, en laissant les a priori de « variation entre frames » du modèle vidéo pré-entraîné accomplir la génération. Les auteurs ont observé que la relation entre l'entrée et la cible varie considérablement selon les tâches ; ils ont donc conçu deux composants : le Mixture of Temporal Experts (MoTE), qui sélectionne dynamiquement, en fonction de l'entrée, des experts d'encodage positionnel temporel correspondant à différents « intervalles de temps virtuels » pour déterminer la distance temporelle entre la cible et l'entrée ; et la Chaîne de Raisonnement Temporel (CoTR), qui insère un état intermédiaire latent entre les deux frames et utilise un masque d'attention en goulot d'étranglement pour faire transiter l'information à travers cet état.
J'aime 112 · Étoiles du code 3
Raisons
- Un seul modèle couvre trois types de tâches : génération pilotée par le sujet, génération d'image à partir de Canny et modification d'image par instruction ; les auteurs affirment que cette approche surpasse les méthodes comparées sur DreamBench, COCO2017 et GEdit-Bench.
- Fonctionnel immédiatement : le dépôt fournit le code d'inférence (configuration finale avec trois experts + une variable latente d'inférence), les poids LoRA sont disponibles sur Hugging Face lyneeeeeeeee/FrameForge, et une commande complète est fournie pour chacune des trois tâches.
- Approche transférable : plutôt que d'entraîner un nouveau modèle d'édition d'images, cette méthode place la condition et la cible à des « positions adaptatives » sur l'axe temporel vidéo, réutilisant directement les a priori du modèle de base vidéo ; il s'est classé premier en likes sur Hugging Face le jour même (indiquant uniquement le niveau d'attention).
Utilisation
- Environnement : Linux, Python 3.10, GPU CUDA ; installez d'abord PyTorch correspondant à votre version de CUDA, puis exécutez pip install -r requirements.txt.
- Modèle de base et encodeurs : téléchargez via hf download tencent/HunyuanVideo-1.5, Qwen/Qwen2.5-VL-7B-Instruct, google/byt5-small, ainsi que Glyph-SDXL-v2 via modelscope, et black-forest-labs/FLUX.1-Redux-dev (dépôt à accès restreint, demande préalable sur Hugging Face requise) ; placez ces fichiers dans le dossier ckpts/.
- LoRA : hf download lyneeeeeeeee/FrameForge pytorch_lora_weights.safetensors --local-dir ./checkpoints.
- Inférence : MODEL_PATH=./ckpts bash scripts/infer.sh --lora_path … --input_image image_d_entree --reference_size 512 --prompt "…" --num_inference_steps 50 ; pour la tâche Canny, le papier utilise --guidance_scale 2.0, et la valeur par défaut pour l'édition est 6.0. Les entrées et sorties sont toutes deux de taille 512×512.
Risques
- Dépendances lourdes : nécessite le modèle complet HunyuanVideo 1.5 ainsi que plusieurs encodeurs dont Qwen2.5-VL-7B ; FLUX.1-Redux-dev est un modèle à accès restreint ; le README ne précise pas les exigences en mémoire vidéo.
- Seul le code d'inférence est fourni, le code d'entraînement et les données sont absents ; la taille de sortie est fixe à 512×512 avec 50 étapes, et la vitesse n'est pas indiquée.
- Le code et les poids suivent la Tencent Hunyuan Community License ; vérifiez ses conditions avant toute distribution ou utilisation commerciale ; les comparaisons de performance sont rapportées par les auteurs, sans examen des résultats générés ni évaluation de la qualité visuelle.
Éditeur : Convient aux chercheurs ou aux expérimentations de flux de travail souhaitant utiliser un seul modèle pour effectuer à la fois « conserver le sujet et changer la scène » et « modifier l'image selon une instruction », après avoir vérifié que votre GPU peut supporter HunyuanVideo 1.5.