VibePrevisBench: 에이전트가 Blender로 카메라 프리비즈를 구축하는 능력 평가

제어 가능한 사실적 비디오 생성 모델은 렌더링된 회색 블록아웃(Graybox) 프리비즈 영상을 조건으로 사용하여 레이아웃, 동작 및 카메라 위치를 고정할 수 있습니다. 프로그래밍 에이전트는 Blender에서 4D 장면을 재구성하여 이러한 영상을 만들 수 있습니다. VibePrevisBench는 242개의 작업을 포함하며, 입력은 시나리오, 사진, 연속 생성 및 참조 비디오의 네 가지 유형으로 나뉩니다. 에이전트는 브리핑을 실행 가능한 4D 장면으로 변환하고 프리비즈 영상을 렌더링해야 합니다. 평가는 두 부분으로 구성됩니다: 규칙 기반 Scene Check는 코드를 다시 실행하여 내보낸 장면을 숨겨진 정답(Ground Truth)과 9가지 차원에서 비교합니다. VLM 기반 Screen Check는 비전 모델이 통과된 사실들이 영상에서 식별 가능한지 판단하도록 합니다. 저자들은 11개의 최신 프로그래밍 에이전트를 분석했습니다: 멀티모달 이해(특히 공간 및 카메라 움직임)가 성능 차이를 만들며, 기본 카메라 위치와 스케줄링은 모두 습득했지만 어려운 요구 사항에서는 실패하고, 에이전트는 자신의 렌더링을 확인하지만 오류를 올바르게 수정하지 못합니다.

원제: VibePrevisBench: Evaluating Agentic Coding for 4D Scene Generation in Blender

제어 가능한 사실적 비디오 생성 모델은 렌더링된 회색 블록아웃(Graybox) 프리비즈 영상을 조건으로 사용하여 레이아웃, 동작 및 카메라 위치를 고정할 수 있습니다. 프로그래밍 에이전트는 Blender에서 4D 장면을 재구성하여 이러한 영상을 만들 수 있습니다. VibePrevisBench는 242개의 작업을 포함하며, 입력은 시나리오, 사진, 연속 생성 및 참조 비디오의 네 가지 유형으로 나뉩니다. 에이전트는 브리핑을 실행 가능한 4D 장면으로 변환하고 프리비즈 영상을 렌더링해야 합니다. 평가는 두 부분으로 구성됩니다: 규칙 기반 Scene Check는 코드를 다시 실행하여 내보낸 장면을 숨겨진 정답(Ground Truth)과 9가지 차원에서 비교합니다. VLM 기반 Screen Check는 비전 모델이 통과된 사실들이 영상에서 식별 가능한지 판단하도록 합니다. 저자들은 11개의 최신 프로그래밍 에이전트를 분석했습니다: 멀티모달 이해(특히 공간 및 카메라 움직임)가 성능 차이를 만들며, 기본 카메라 위치와 스케줄링은 모두 습득했지만 어려운 요구 사항에서는 실패하고, 에이전트는 자신의 렌더링을 확인하지만 오류를 올바르게 수정하지 못합니다.

왜 중요한가 제어 가능한 비디오 생성은 회색 블록아웃 프리비즈 영상을 통해 레이아웃, 동작 및 카메라 위치를 사전에 정의할 수 있습니다. 이 벤치마크는 장면 자체와 렌더링된 화면을 모두 검증합니다.

좋아요 84 · 코드 스타 수 12

이유

  • 저자가 공개한 종합 순위에서 GPT-6 Astra(Codex CLI)가 1위, GPT-6.1 Sol 및 Gemini 4 Argon이 그 뒤를 이었습니다. DeepSeek, Kimi, GLM, Doubao 등 중국산 모델들도 순위에 포함되어 있습니다.
  • 저장소에는 Claude Code 스킬인 vibeprevisbench-eval이 포함되어 있어, 한 번의 명령으로 환경 검사, 데이터 다운로드, 실행, 재생 및 채점을 완료할 수 있습니다. 각 작업은 독립적인 Docker 샌드박스에서 실행되며 GPU가 필요하지 않습니다.
  • 작업, 라벨링 및 채점 세부 사항은 Hugging Face 데이터셋 Kling-Keye/vibeprevisbench에 있습니다.

사용법

  • 코드: https://github.com/vibeprevisbench/vibeprevisbench(代码 Apache-2.0, 데이터 라벨링 CC BY-NC-SA 4.0)
  • Docker, Python 3.12, ffmpeg가 설치된 Linux 호스트를 준비하고, 저장소 루트 디렉토리에서 Claude Code를 실행한 후 /vibeprevisbench-eval을 입력합니다. 먼저 4개 작업으로 스모크 테스트를 수행한 다음 전체 작업을 실행합니다.

리스크

  • 각 동시 에이전트는 8개의 CPU 코어와 16GB의 메모리가 필요합니다. 전체 평가는 대상 모델과 심사 모델에 대한 유료 호출을 발생시킵니다.
  • Screen Check는 비전 모델 심사에 의존합니다(논문에서는 Gemini 4 Argon 사용). 심사 모델을 변경하면 점수를 직접 비교할 수 없습니다. 제3자 참조 이미지 및 비디오는 데이터셋과 함께 배포되지 않으며, 스크립트를 통해 원본 위치에서 다운로드해야 합니다.
  • 성적은 저자가 보고한 수치이며, 본 항목에서는 실행하지 않았습니다.

열기 · 코드 · Hugging Face 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기