Оригинальное название: voyager-so/shot-reader-8b
Модель анализа кадров от Voyager, дообученная методом LoRA на базе Qwen3-VL-8B-Instruct: принимает на вход непрерывный кадр, равномерно извлекает 16 кадров и выдает JSON-описание кадра, включающее высоту камеры, угол, наклон, угол обзора, способ движения камеры, план съемки, размеры каждого человека или объекта в кадре, их позы и координаты на плоскости земли во времени, события действий, а также элементы декораций, такие как стены и ящики. Координаты задаются с началом отсчета под центром камеры первого кадра, единица измерения — метры; инструменты 3D или программирующие агенты могут использовать эти данные для воссоздания сцены в Blender. Обучающие данные состоят из синтетических кадров, отрендеренных из процедурно генерируемых сцен (часть из которых была перерендерена видеомоделями для придания реалистичности), а также из фильмов в общественном достоянии из Wikimedia Commons и архива Prelinger.
Почему это важно При создании агентами трехмерных превизуализаций по референсным кадрам наиболее частыми ошибками являются неверное определение положения камеры и движения; данная модель сначала преобразует кадр в структурированное описание, при этом она может работать на одной потребительской видеокарте
Рост рейтинга 29 · Лайки 31 · Загрузки 61
Обоснование
- Авторы протестировали модель на 300 отложенных кадрах, проверяя правильность определения «класса высоты камеры и типа движения»: результат составил 69%, для Opus 5.5 — 44%, для Gemini 4 Argon 46%; однако по показателю качества воссоздания сцены на реальных материалах из VibePrevisBench (35.6) модель немного уступает этим двум моделям
- Авторы сообщают, что на H100 обработка одного кадра в формате FP8 занимает 5.9 секунд и стоит около 0.002 долларов; на RTX 5080 с памятью 16 ГБ при использовании квантования до 4 бит обработка одного кадра (включая загрузку) занимает примерно 25 секунд
- Указаны области применения: создание редактируемых превизуализаций по референсным видео, преобразование положения камеры и движения объектов в явные входные данные для управляемого генерирования видео ИИ, а также маркировка библиотек материалов по типу движения камеры и плану съемки
Использование
- Выполните pip install torch "transformers>=4.57" pillow huggingface_hub и установите ffmpeg; скачайте из репозитория файлы shot_reader.py и schema.md
- Запустите python shot_reader.py clip.mp4 --subject "P01: person (описание)" --subject "O01: dog"; при малом объеме видеопамяти добавьте флаг --load-in-4bit (требуется bitsandbytes), для повышения скорости используйте --backend vllm
- На вход подается только один непрерывный кадр; длинные видеоролики необходимо предварительно разрезать по монтажным склейкам; описание полей приведено в schema.md, отдельный адаптер LoRA находится в каталоге lora/
Риски
- По заявлению авторов, события действий и траектории движения являются наиболее слабыми полями при работе с реальными материалами; оцененные положения для одиночной камеры обычно имеют погрешность в несколько метров
- Результаты сравнения получены авторами самостоятельно (одинаковые промпты и формат подавались всем моделям), независимое воспроизведение пока отсутствует; метки для реальных материалов были автоматически проставлены передовыми моделями. Данный пункт не был проверен на выполнение