Shot Reader 8B: Xem một cảnh quay, suy ngược lại vị trí máy quay và bối cảnh

Mô hình phân tích cảnh quay được tinh chỉnh bằng LoRA trên Qwen3-VL-8B-Instruct bởi Voyager: đầu vào là một cảnh quay liên tục, lấy đều 16 khung hình, đầu ra là một danh sách cảnh quay dạng JSON, bao gồm độ cao máy quay, góc quay, độ nghiêng, góc nhìn, phương thức di chuyển máy quay, cỡ cảnh, kích thước, tư thế và tọa độ mặt đất theo thời gian của mỗi người hoặc vật thể trong khung hình, các sự kiện hành động, cũng như các đạo cụ như tường, thùng. Tọa độ lấy gốc tại điểm ngay dưới máy quay ở khung hình đầu tiên, đơn vị là mét, các công cụ 3D hoặc tác nhân lập trình có thể dựa vào đó để tái tạo bối cảnh trong Blender. Dữ liệu huấn luyện là các cảnh quay tổng hợp được kết xuất từ các bối cảnh do chương trình tạo ra (một phần được kết xuất lại thành phong cách thực tế bằng mô hình video), cộng với các đoạn phim thuộc phạm vi công cộng từ Wikimedia Commons và Kho lưu trữ Prelinger.

Tên gốc: voyager-so/shot-reader-8b

Mô hình phân tích cảnh quay được tinh chỉnh bằng LoRA trên Qwen3-VL-8B-Instruct bởi Voyager: đầu vào là một cảnh quay liên tục, lấy đều 16 khung hình, đầu ra là một danh sách cảnh quay dạng JSON, bao gồm độ cao máy quay, góc quay, độ nghiêng, góc nhìn, phương thức di chuyển máy quay, cỡ cảnh, kích thước, tư thế và tọa độ mặt đất theo thời gian của mỗi người hoặc vật thể trong khung hình, các sự kiện hành động, cũng như các đạo cụ như tường, thùng. Tọa độ lấy gốc tại điểm ngay dưới máy quay ở khung hình đầu tiên, đơn vị là mét, các công cụ 3D hoặc tác nhân lập trình có thể dựa vào đó để tái tạo bối cảnh trong Blender. Dữ liệu huấn luyện là các cảnh quay tổng hợp được kết xuất từ các bối cảnh do chương trình tạo ra (một phần được kết xuất lại thành phong cách thực tế bằng mô hình video), cộng với các đoạn phim thuộc phạm vi công cộng từ Wikimedia Commons và Kho lưu trữ Prelinger.

Tại sao quan trọng Khi để các tác nhân dựng bản xem trước 3D dựa trên cảnh quay tham chiếu, lỗi phổ biến nhất thường nằm ở vị trí máy quay và chuyển động máy quay; mô hình này trước tiên đọc cảnh quay thành mô tả có cấu trúc, có thể chạy trên một card đồ họa tiêu dùng đơn lẻ

Điểm tăng 29 · Lượt thích 31 · Lượt tải 61

Lý do

  • Tác giả đo lường trên 300 cảnh quay giữ lại (held-out) với tiêu chí "đúng cả phân loại độ cao máy quay và chuyển động máy quay": 69%, Opus 5.5 đạt 44%, Gemini 4 Argon 46%; nhưng điểm tái tạo bối cảnh trên dữ liệu thực tế VibePrevisBench (35.6) thấp hơn một chút so với hai mô hình này
  • Tác giả cho biết trên H100 với FP8, một cảnh quay mất 5.9 giây, khoảng 0.002 đô la; trên RTX 5080 với 16GB, sử dụng lượng tử hóa 4 bit mất khoảng 25 giây mỗi cảnh quay (bao gồm cả thời gian tải)
  • Mục đích sử dụng được ghi rõ: tạo bản xem trước có thể chỉnh sửa dựa trên phim tham chiếu, biến vị trí máy quay và đường đi thành đầu vào rõ ràng cho video AI có thể kiểm soát, gắn thẻ thư viện tài liệu theo chuyển động máy quay và cỡ cảnh

Cách dùng

  • pip install torch "transformers>=4.57" pillow huggingface_hub và cài đặt ffmpeg; tải shot_reader.py và schema.md từ kho lưu trữ
  • python shot_reader.py clip.mp4 --subject "P01: person (mô tả)" --subject "O01: dog"; nếu VRAM nhỏ, thêm --load-in-4bit (cần bitsandbytes), để tối ưu tốc độ dùng --backend vllm
  • Chỉ có thể nhập một cảnh quay liên tục mỗi lần, với video dài hãy cắt theo các điểm chuyển cảnh; xem mô tả trường dữ liệu trong schema.md, bộ thích ứng LoRA riêng nằm trong thư mục lora/

Rủi ro

  • Tác giả cho biết các sự kiện hành động và đường đi là các trường yếu nhất trên dữ liệu thực tế, vị trí ước tính từ một máy quay đơn lẻ thường sai lệch vài mét
  • Kết quả so sánh là do tác giả tự kiểm tra (cùng một prompt và định dạng được cung cấp cho các mô hình khác nhau), chưa có sự tái hiện từ bên thứ ba; nhãn dữ liệu thực tế được tự động gắn nhãn bởi các mô hình hàng đầu. Mục này chưa được chạy

Mở

Hugging Face Trending

Xem tin AI mới nhất