VibePrevisBench:测智能体用 Blender 搭镜头预演

可控的真实感视频生成模型可以用渲染好的灰模代理视频作条件,固定布局、动作和机位;编程智能体可以在 Blender 里重建 4D 场景来做出这种视频。VibePrevisBench 有 242 个任务,输入分剧本、照片、续写和参考视频四类,智能体要把简报变成可执行的 4D 场景并渲染代理视频。评分分两部分:规则式 Scene Check 重跑代码,把导出的场景和隐藏的真值在九个维度上比对;VLM 式 Screen Check 让视觉模型判断通过的事实能否在视频里认出来。作者分析了 11 个前沿编程智能体:多模态理解(尤其是空间和镜头运动)拉开差距,基础机位和调度都已掌握但难的要求会失败,智能体会检查自己的渲染却改不对错误。

原题:VibePrevisBench: Evaluating Agentic Coding for 4D Scene Generation in Blender

可控的真实感视频生成模型可以用渲染好的灰模代理视频作条件,固定布局、动作和机位;编程智能体可以在 Blender 里重建 4D 场景来做出这种视频。VibePrevisBench 有 242 个任务,输入分剧本、照片、续写和参考视频四类,智能体要把简报变成可执行的 4D 场景并渲染代理视频。评分分两部分:规则式 Scene Check 重跑代码,把导出的场景和隐藏的真值在九个维度上比对;VLM 式 Screen Check 让视觉模型判断通过的事实能否在视频里认出来。作者分析了 11 个前沿编程智能体:多模态理解(尤其是空间和镜头运动)拉开差距,基础机位和调度都已掌握但难的要求会失败,智能体会检查自己的渲染却改不对错误。

为什么重要 可控视频生成可以用灰模预演视频定好布局、动作和机位;这个基准同时检查场景本身和渲染出的画面

点赞 84 · 代码星数 12

理由

  • 作者公布的总榜中 GPT-6 Astra(Codex CLI)第一,GPT-6.1 Sol、Gemini 4 Argon 次之;DeepSeek、Kimi、GLM、豆包等国产模型也在榜上
  • 仓库自带 Claude Code 技能 vibeprevisbench-eval,一条指令跑完环境检查、数据下载、运行、重放和打分;每个任务在独立 Docker 沙箱里运行,不需要 GPU
  • 任务、标注和评分细则放在抱脸数据集 Kling-Keye/vibeprevisbench

用法

  • 代码:https://github.com/vibeprevisbench/vibeprevisbench(代码 Apache-2.0,数据标注 CC BY-NC-SA 4.0)
  • 准备装有 Docker、Python 3.12、ffmpeg 的 Linux 主机,在仓库根目录启动 Claude Code 输入 /vibeprevisbench-eval,先跑四个任务的冒烟测试,再跑全部任务

风险

  • 每个并发智能体需要 8 核 CPU 和 16GB 内存;全量评测会产生被测模型和评审模型的付费调用
  • Screen Check 依赖视觉模型评审(论文用 Gemini 4 Argon),换评审模型后分数不能直接比较;第三方参考图片和视频不随数据集分发,要用脚本从原处下载
  • 成绩为作者报告;本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态