Titre original : voyager-so/shot-reader-8b
Modèle d'analyse de plans affiné par LoRA sur Qwen3-VL-8B-Instruct par Voyager : en entrée, un plan continu ; on échantillonne uniformément 16 images, et en sortie, une fiche technique du plan au format JSON incluant la hauteur de la caméra, l'angle, l'inclinaison (pitch), le champ de vision, le mouvement de caméra, le cadrage, ainsi que la taille, la posture et les coordonnées au sol dans le temps de chaque personne ou objet visible, les événements d'action, et les décors tels que murs et caisses. Les coordonnées sont exprimées en mètres, avec l'origine située directement sous la caméra à la première image ; des outils 3D ou des agents de programmation peuvent ainsi reconstruire la scène dans Blender. Les données d'entraînement consistent en des plans synthétiques rendus à partir de scènes générées par programme (certains étant re-rendus de manière réaliste par des modèles vidéo), complétées par des films du domaine public issus de Wikimedia Commons et des Archives Prelinger.
Pourquoi c'est important Lors de la création de prévisualisations 3D à partir de plans de référence par des agents, les erreurs les plus courantes concernent la position de la caméra et ses mouvements ; ce modèle convertit d'abord le plan en une description structurée, et il peut s'exécuter sur un seul GPU grand public
Score de progression 29 · J'aime 31 · Téléchargements 61
Raisons
- Les auteurs ont testé la précision conjointe de la « catégorie de hauteur de caméra et du mouvement de caméra » sur 300 plans réservés à l'évaluation : 69%, Opus 5.5 obtenant 44% et Gemini 4 Argon 46% ; toutefois, le score de reconstruction de scène sur des données réelles du benchmark VibePrevisBench (35.6) est légèrement inférieur à celui de ces deux modèles
- Les auteurs indiquent qu'une seule passe sur H100 en FP8 prend 5.9 secondes et coûte environ 0.002 dollars ; une RTX 5080 avec 16 Go utilise une quantification 4 bits pour traiter un plan en environ 25 secondes (chargement inclus)
- Les cas d'usage sont précisés : créer des prévisualisations éditables à partir de films de référence, transformer la position de caméra et les déplacements en entrées explicites pour la génération vidéo par IA, et étiqueter les bibliothèques de médias selon le mouvement de caméra et le cadrage
Utilisation
- Installez torch, "transformers>=4.57", pillow et huggingface_hub via pip, ainsi que ffmpeg ; téléchargez shot_reader.py et schema.md depuis le dépôt
- Exécutez python shot_reader.py clip.mp4 --subject "P01: personne (description)" --subject "O01: chien" ; si la mémoire GPU est limitée, ajoutez --load-in-4bit (nécessite bitsandbytes), et pour plus de vitesse, utilisez --backend vllm
- Un seul plan continu peut être traité à la fois ; les vidéos longues doivent d'abord être découpées aux points de montage ; consultez schema.md pour la description des champs, l'adaptateur LoRA séparé se trouve dans le répertoire lora/
Risques
- Les auteurs indiquent que les événements d'action et les trajectoires de déplacement sont les champs les moins fiables sur des données réelles, avec souvent plusieurs mètres d'erreur pour la position estimée par une caméra unique
- Les résultats comparatifs proviennent de tests internes aux auteurs (mêmes prompts et formats soumis à chaque modèle), sans reproduction indépendante à ce jour ; les étiquettes des données réelles ont été annotées automatiquement par des modèles de pointe. Cette entrée n'a pas été exécutée