原題:VibePrevisBench: Evaluating Agentic Coding for 4D Scene Generation in Blender
制御可能なリアルな動画生成モデルは、レンダリングされたグレーモデルのプレビュー動画を条件として使用し、レイアウト、動作、カメラ位置を固定できる。コーディングエージェントはBlender内で4Dシーンを再構築することで、こうした動画を生成できる。VibePrevisBenchには242個のタスクがあり、入力は脚本、写真、続き作成、参照動画の4種類に分類される。エージェントはブリーフィングを実行可能な4Dシーンに変換し、プレビュー動画をレンダリングする必要がある。評価は2部構成で、ルールベースのScene Checkではコードを再実行し、エクスポートされたシーンを隠された正解データと9つの次元で比較する。VLMベースのScreen Checkでは、視覚モデルが事実が動画内で認識可能かどうかを判断する。著者は11個の最先端コーディングエージェントを分析した。マルチモーダル理解(特に空間認識とカメラワーク)が性能差を生み、基本的なカメラ位置やスケジューリングは習得しているものの、難しい要件では失敗する。エージェントは自身のレンダリング結果を確認するが、エラーを正しく修正できない。
なぜ重要か 制御可能な動画生成では、グレーモデルのプレビュー動画でレイアウト、動作、カメラ位置を決定できる。このベンチマークは、シーンそのものとレンダリングされた画面の両方を検証する。
いいね 84 · コードのスター数 12
理由
- 著者が公開した総合ランキングでは、GPT-6 Astra(Codex CLI)が1位、GPT-6.1 Sol、Gemini 4 Argonがそれに続いている。DeepSeek、Kimi、GLM、Doubaoなどの中国製モデルもランクインしている
- リポジトリにはClaude Codeスキル「vibeprevisbench-eval」が含まれており、1つのコマンドで環境チェック、データダウンロード、実行、リプレイ、スコアリングが完了する。各タスクは独立したDockerサンドボックス内で実行され、GPUは不要である
- タスク、アノテーション、評価ルールはHugging Faceデータセット「Kling-Keye/vibeprevisbench」に公開されている
使い方
- コード:https://github.com/vibeprevisbench/vibeprevisbench(代码 Apache-2.0、データアノテーション CC BY-NC-SA 4.0)
- Docker、Python 3.12、ffmpegがインストールされたLinuxホストを用意し、リポジトリのルートディレクトリでClaude Codeを起動して「/vibeprevisbench-eval」を入力する。まず4つのタスクでスモークテストを実行し、その後すべてのタスクを実行する
リスク
- 各並列エージェントには8コアのCPUと16GBのメモリが必要である。全量評価では、評価対象モデルと評価モデルへの有料API呼び出しが発生する
- Screen Checkは視覚モデルによる評価に依存する(論文ではGemini 4 Argonを使用)。評価モデルを変更した場合、スコアを直接比較することはできない。サードパーティの参照画像や動画はデータセットに含まれておらず、スクリプトを用いて元の場所からダウンロードする必要がある
- 成績は著者による報告値である。本項目では実行されていない
開く · コード · Hugging Face論文ページ