VibePrevisBench : évaluer les agents pour la prévisualisation de plans avec Blender

Les modèles de génération vidéo réaliste contrôlable peuvent utiliser des vidéos proxy de modèles gris rendus comme condition, en figeant la disposition, les actions et les positions de caméra ; les agents de programmation peuvent reconstruire des scènes 4D dans Blender pour produire ce type de vidéos. VibePrevisBench comprend 242 tâches, dont les entrées se répartissent en quatre catégories : scénarios, photos, suites narratives et vidéos de référence. Les agents doivent transformer les briefs en scènes 4D exécutables et rendre les vidéos proxy. L'évaluation se divise en deux parties : le Scene Check basé sur des règles réexécute le code et compare la scène exportée avec la vérité terrain cachée sur neuf dimensions ; le Screen Check basé sur un VLM demande à un modèle visuel de déterminer si les faits validés sont reconnaissables dans la vidéo. Les auteurs ont analysé 11 agents de programmation de pointe : la compréhension multimodale (en particulier spatiale et des mouvements de caméra) fait la différence, les positions de caméra et la mise en scène de base sont maîtrisées mais les exigences difficiles échouent, et les agents vérifient leurs rendus sans réussir à corriger les erreurs.

Titre original : VibePrevisBench: Evaluating Agentic Coding for 4D Scene Generation in Blender

Les modèles de génération vidéo réaliste contrôlable peuvent utiliser des vidéos proxy de modèles gris rendus comme condition, en figeant la disposition, les actions et les positions de caméra ; les agents de programmation peuvent reconstruire des scènes 4D dans Blender pour produire ce type de vidéos. VibePrevisBench comprend 242 tâches, dont les entrées se répartissent en quatre catégories : scénarios, photos, suites narratives et vidéos de référence. Les agents doivent transformer les briefs en scènes 4D exécutables et rendre les vidéos proxy. L'évaluation se divise en deux parties : le Scene Check basé sur des règles réexécute le code et compare la scène exportée avec la vérité terrain cachée sur neuf dimensions ; le Screen Check basé sur un VLM demande à un modèle visuel de déterminer si les faits validés sont reconnaissables dans la vidéo. Les auteurs ont analysé 11 agents de programmation de pointe : la compréhension multimodale (en particulier spatiale et des mouvements de caméra) fait la différence, les positions de caméra et la mise en scène de base sont maîtrisées mais les exigences difficiles échouent, et les agents vérifient leurs rendus sans réussir à corriger les erreurs.

Pourquoi c'est important La génération vidéo contrôlable peut utiliser des vidéos de prévisualisation en modèles gris pour définir la disposition, les actions et les positions de caméra ; ce benchmark vérifie simultanément la scène elle-même et l'image rendue

J'aime 84 · Étoiles du code 12

Raisons

  • Dans le classement général publié par les auteurs, GPT-6 Astra (Codex CLI) est premier, suivi de GPT-6.1 Sol et Gemini 4 Argon ; les modèles chinois tels que DeepSeek, Kimi, GLM et Doubao figurent également au classement
  • Le dépôt inclut la compétence Claude Code vibeprevisbench-eval, permettant d'exécuter en une seule commande la vérification de l'environnement, le téléchargement des données, l'exécution, la relecture et la notation ; chaque tâche s'exécute dans un bac à sable Docker isolé, sans nécessiter de GPU
  • Les tâches, les annotations et les critères d'évaluation sont disponibles sur le jeu de données Hugging Face Kling-Keye/vibeprevisbench

Utilisation

  • Code : https://github.com/vibeprevisbench/vibeprevisbench(代码 Apache-2.0, annotations de données CC BY-NC-SA 4.0)
  • Préparez un hôte Linux équipé de Docker, Python 3.12 et ffmpeg, lancez Claude Code à la racine du dépôt et entrez /vibeprevisbench-eval, exécutez d'abord un test de fumée sur quatre tâches, puis lancez toutes les tâches

Risques

  • Chaque agent concurrent nécessite 8 cœurs CPU et 16 Go de mémoire ; l'évaluation complète génère des appels payants aux modèles évalués et aux modèles d'évaluation
  • Le Screen Check dépend de l'évaluation par un modèle visuel (le papier utilise Gemini 4 Argon) ; les scores ne sont pas directement comparables si le modèle d'évaluation est changé ; les images et vidéos de référence tierces ne sont pas distribuées avec le jeu de données et doivent être téléchargées depuis leur source via des scripts
  • Les résultats sont rapportés par les auteurs ; cette entrée n'a pas été exécutée

Ouvrir · Code · Page du papier sur Hugging Face

Hugging Face Daily Papers

Parcourir les dernières actualités IA