Shot Reader 8B:看一个镜头,反推机位和场景

Voyager 在 Qwen3-VL-8B-Instruct 上用 LoRA 微调的镜头解析模型:输入一个连续镜头,均匀取 16 帧,输出一份 JSON 镜头单,包括机位高度、角度、俯仰、视场角、运镜方式、景别,画面里每个人或物体的尺寸、姿态和随时间的地面坐标,动作事件,以及墙、箱子等布景。坐标以第一帧镜头正下方为原点、单位是米,3D 工具或编程智能体可以据此在 Blender 里重建场景。训练数据是程序生成场景渲染出的合成镜头(部分用视频模型重渲成写实),加上维基共享资源和 Prelinger 档案馆的公有领域影片。

原题:voyager-so/shot-reader-8b

Voyager 在 Qwen3-VL-8B-Instruct 上用 LoRA 微调的镜头解析模型:输入一个连续镜头,均匀取 16 帧,输出一份 JSON 镜头单,包括机位高度、角度、俯仰、视场角、运镜方式、景别,画面里每个人或物体的尺寸、姿态和随时间的地面坐标,动作事件,以及墙、箱子等布景。坐标以第一帧镜头正下方为原点、单位是米,3D 工具或编程智能体可以据此在 Blender 里重建场景。训练数据是程序生成场景渲染出的合成镜头(部分用视频模型重渲成写实),加上维基共享资源和 Prelinger 档案馆的公有领域影片。

为什么重要 让智能体照参考镜头搭三维预演时,最常错的是机位和运镜;它先把镜头读成结构化描述,单张消费级显卡就能跑

上升分 29 · 点赞 31 · 下载量 61

理由

  • 作者在 300 个留出镜头上测「机位高度档和运镜都判对」:69%,Opus 5.5 为 44%、Gemini 4 Argon 46%;但在 VibePrevisBench 真实素材的场景重建分上(35.6)略低于这两个模型
  • 作者称 H100 上 FP8 单镜头 5.9 秒、约 0.002 美元;16GB 的 RTX 5080 用 4 位量化约 25 秒一个镜头(含加载)
  • 用途写明:照参考片做可编辑预演、把机位和走位变成可控 AI 视频的显式输入、给素材库按运镜和景别打标签

用法

  • pip install torch "transformers>=4.57" pillow huggingface_hub 并装好 ffmpeg;从仓库下载 shot_reader.py 和 schema.md
  • python shot_reader.py clip.mp4 --subject "P01: person (描述)" --subject "O01: dog";显存小加 --load-in-4bit(需 bitsandbytes),追求速度用 --backend vllm
  • 一次只能输入一个连续镜头,长视频先按剪辑点切开;字段说明见 schema.md,单独的 LoRA 适配器在 lora/ 目录

风险

  • 作者称动作事件和走位路线是真实素材上最弱的字段,单机位估出的位置通常有几米误差
  • 对比成绩是作者自测(同一提示词和格式喂给各模型),尚无第三方复现;真实素材标签由前沿模型自动标注。本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态