VibePrevisBench: тестирование агентов для создания превизуализации кадров в Blender

Контролируемые модели генерации реалистичного видео могут использовать отрендеренные серые прокси-видео в качестве условия, фиксируя компоновку, движение и положение камеры; программирующие агенты могут воссоздавать 4D сцены в Blender для создания таких видео. VibePrevisBench содержит 242 задач, входные данные делятся на четыре категории: сценарии, фотографии, продолжения и референсные видео; агент должен превратить бриф в исполняемую 4D сцену и отрендерить прокси-видео. Оценка состоит из двух частей: основанная на правилах проверка Scene Check повторно запускает код и сравнивает экспортированную сцену со скрытым эталоном по девяти параметрам; проверка Screen Check на основе VLM использует визуальную модель для определения того, можно ли распознать прошедшие проверку факты в видео. Авторы проанализировали 11 передовых программирующих агентов: мультимодальное понимание (особенно пространственное и движение камеры) определяет разрыв между ними; базовые положения камеры и планирование уже освоены, но сложные требования приводят к ошибкам; агенты проверяют свои рендеры, но не могут исправить ошибки.

Оригинальное название: VibePrevisBench: Evaluating Agentic Coding for 4D Scene Generation in Blender

Контролируемые модели генерации реалистичного видео могут использовать отрендеренные серые прокси-видео в качестве условия, фиксируя компоновку, движение и положение камеры; программирующие агенты могут воссоздавать 4D сцены в Blender для создания таких видео. VibePrevisBench содержит 242 задач, входные данные делятся на четыре категории: сценарии, фотографии, продолжения и референсные видео; агент должен превратить бриф в исполняемую 4D сцену и отрендерить прокси-видео. Оценка состоит из двух частей: основанная на правилах проверка Scene Check повторно запускает код и сравнивает экспортированную сцену со скрытым эталоном по девяти параметрам; проверка Screen Check на основе VLM использует визуальную модель для определения того, можно ли распознать прошедшие проверку факты в видео. Авторы проанализировали 11 передовых программирующих агентов: мультимодальное понимание (особенно пространственное и движение камеры) определяет разрыв между ними; базовые положения камеры и планирование уже освоены, но сложные требования приводят к ошибкам; агенты проверяют свои рендеры, но не могут исправить ошибки.

Почему это важно Контролируемая генерация видео может использовать превизуализацию серыми моделями для фиксации компоновки, движения и положения камеры; этот бенчмарк одновременно проверяет саму сцену и отрендеренное изображение

Лайков 84 · Звёзд в коде 12

Причины

  • В опубликованном авторами общем рейтинге GPT-6 Astra (Codex CLI) занимает первое место, за ним следуют GPT-6.1 Sol и Gemini 4 Argon; китайские модели DeepSeek, Kimi, GLM, Doubao и другие также присутствуют в списке
  • Репозиторий включает навык Claude Code vibeprevisbench-eval, который одной командой выполняет проверку окружения, загрузку данных, запуск, воспроизведение и оценку; каждая задача выполняется в изолированном Docker-песочнице, GPU не требуется
  • Задачи, аннотации и критерии оценки размещены в датасете Hugging Face Kling-Keye/vibeprevisbench

Использование

  • Код: https://github.com/vibeprevisbench/vibeprevisbench(代码 Apache-2.0, аннотации данных CC BY-NC-SA 4.0)
  • Подготовьте хост Linux с установленными Docker, Python 3.12 и ffmpeg, запустите Claude Code в корневом каталоге репозитория и введите /vibeprevisbench-eval; сначала выполните смоук-тест для четырех задач, затем запустите все задачи

Риски

  • Каждому параллельному агенту требуется 8 ядер CPU и 16 ГБ оперативной памяти; полная оценка приводит к платным вызовам тестируемых моделей и моделей-оценщиков
  • Проверка Screen Check зависит от оценки визуальной моделью (в статье использовалась Gemini 4 Argon); после смены модели-оценщика результаты нельзя напрямую сравнивать; сторонние референсные изображения и видео не распространяются вместе с датасетом, их нужно загружать скриптом из оригинальных источников
  • Результаты предоставлены авторами; в данном пункте тестирование не проводилось

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ