Shot Reader 8B: 하나의 샷을 보고 카메라 위치와 장면을 역추적

Voyager가 Qwen3-VL-8B-Instruct에 LoRA로 미세 조정하여 만든 샷 분석 모델: 하나의 연속된 샷을 입력으로 받아 16개의 프레임을 균일하게 샘플링한 후, 카메라 높이, 각도, 피치, 시야각, 카메라 무빙 방식, 샷 크기, 화면 내 각 인물 또는 물체의 크기, 자세, 시간에 따른 지면 좌표, 동작 이벤트, 그리고 벽이나 상자 같은 세트 요소 등을 포함하는 JSON 형식의 샷 시트를 출력합니다. 좌표는 첫 번째 프레임의 카메라 정하단을 원점으로 하며 단위는 미터이고, 3D 도구 또는 코딩 에이전트가 이를 바탕으로 Blender에서 장면을 재구성할 수 있습니다. 학습 데이터는 절차적 생성 장면을 렌더링한 합성 샷(일부는 비디오 모델로 사실적으로 재렌더링함)과 위키미디어 커먼즈 및 프리링거 아카이브의 퍼블릭 도메인 영상으로 구성됩니다.

원제: voyager-so/shot-reader-8b

Voyager가 Qwen3-VL-8B-Instruct에 LoRA로 미세 조정하여 만든 샷 분석 모델: 하나의 연속된 샷을 입력으로 받아 16개의 프레임을 균일하게 샘플링한 후, 카메라 높이, 각도, 피치, 시야각, 카메라 무빙 방식, 샷 크기, 화면 내 각 인물 또는 물체의 크기, 자세, 시간에 따른 지면 좌표, 동작 이벤트, 그리고 벽이나 상자 같은 세트 요소 등을 포함하는 JSON 형식의 샷 시트를 출력합니다. 좌표는 첫 번째 프레임의 카메라 정하단을 원점으로 하며 단위는 미터이고, 3D 도구 또는 코딩 에이전트가 이를 바탕으로 Blender에서 장면을 재구성할 수 있습니다. 학습 데이터는 절차적 생성 장면을 렌더링한 합성 샷(일부는 비디오 모델로 사실적으로 재렌더링함)과 위키미디어 커먼즈 및 프리링거 아카이브의 퍼블릭 도메인 영상으로 구성됩니다.

왜 중요한가 에이전트가 참고 샷을 바탕으로 3D 프리비즈를 구축할 때 가장 흔한 오류는 카메라 위치와 무빙입니다. 이 모델은 먼저 샷을 구조화된 설명으로 변환하며, 단일 소비자용 GPU에서도 실행할 수 있습니다

상승 점수 29 · 좋아요 31 · 다운로드 수 61

이유

  • 저자는 300개의 홀드아웃 샷에서 '카메라 높이 등급과 무빙 모두 정확히 판별'한 성능을 측정했습니다: 69%, Opus 5.5은 44%, Gemini 4 Argon 46%입니다. 그러나 VibePrevisBench의 실제 영상 소재에 대한 장면 재구성 점수(35.6)에서는 이 두 모델보다 약간 낮습니다
  • 저자에 따르면 H100에서 FP8으로 단일 샷 처리 시 5.9초, 약 0.002달러가 소요됩니다. 16GB의 RTX 5080에서는 4비트 양자화를 사용하여 샷당 약 25초(로딩 시간 포함)가 걸립니다
  • 용도 명시: 참고 영상을 바탕으로 편집 가능한 프리비즈 제작, 카메라 위치와 동선을 제어 가능한 AI 영상의 명시적 입력으로 변환, 영상 라이브러리에 무빙과 샷 크기를 기준으로 태그 지정

사용법

  • pip install torch "transformers>=4.57" pillow huggingface_hub를 실행하고 ffmpeg를 설치하세요. 저장소에서 shot_reader.py와 schema.md를 다운로드합니다
  • python shot_reader.py clip.mp4 --subject "P01: person (설명)" --subject "O01: dog"를 실행합니다. VRAM이 적다면 --load-in-4bit 옵션을 추가하세요(bitsandbytes 필요). 속도를 우선시한다면 --backend vllm을 사용하세요
  • 한 번에 하나의 연속된 샷만 입력할 수 있으며, 긴 영상은 편집 지점에서 먼저 분할해야 합니다. 필드 설명은 schema.md를 참조하고, 개별 LoRA 어댑터는 lora/ 디렉터리에 있습니다

리스크

  • 저자는 동작 이벤트와 동선 경로가 실제 영상 소재에서 가장 약한 필드이며, 단일 카메라 위치 추정 시 위치 오차가 보통 몇 미터 발생한다고 보고합니다
  • 비교 결과는 저자의 자체 테스트(동일한 프롬프트와 형식을 각 모델에 입력)이며, 제3자 재현은 아직 없습니다. 실제 영상 소재의 라벨은 최전선 모델로 자동 생성되었습니다. 이 항목은 실행되지 않았습니다

열기

Hugging Face Trending

최신 AI 소식 보기