元タイトル:voyager-so/shot-reader-8b
Voyager が Qwen3-VL-8B-Instruct を LoRA でファインチューニングしたショット解析モデルです。連続した1つのショットを入力し、均等に 16 フレームを抽出して、カメラの高さ、角度、ピッチ、視野角(FOV)、カメラワーク、画角、画面内の各人物または物体のサイズ・姿勢・時間経過に伴う地面座標、アクションイベント、そして壁や箱などのセット情報を包含する JSON 形式のショットリストを出力します。座標は最初のフレームでのカメラ真下を原点とし、単位はメートルです。3D ツールやプログラミングエージェントはこの情報に基づいて Blender でシーンを再構築できます。訓練データには、プログラム生成シーンからレンダリングされた合成ショット(一部はビデオモデルによりリアルに再レンダリング済み)に加え、Wikimedia Commons と Prelinger Archives のパブリックドメイン映像が含まれています。
なぜ重要か エージェントが参照ショットに基づいて3Dプリビズを構築する際、最も間違えやすいのはカメラ位置とカメラワークです。このモデルはまずショットを構造化された記述に変換し、コンシューマー向けの単一GPUでも動作します
上昇スコア 29 · いいね数 31 · ダウンロード数 61
理由
- 作者は 300 個のホールドアウトショットにおいて「カメラの高さレベルとカメラワークの両方が正しく判定された」精度を測定しました:69%。Opus 5.5 は 44%、Gemini 4 Argon 46% でした。しかし、VibePrevisBench の実写素材におけるシーン再構築スコア(35.6)では、これら2つのモデルよりわずかに低いです
- 作者によると、H100 上で FP8 を使用した場合、1ショットあたり 5.9 秒、約 0.002 ドルかかります。16GB の RTX 5080 で 4 ビット量子化を使用すると、読み込み時間を含めて1ショットあたり約 25 秒です
- 用途として、参照映像に基づく編集可能なプリビズの作成、カメラ位置とキャラクターの動きを制御可能なAIビデオへの明示的な入力変換、素材ライブラリへのカメラワークや画角によるタグ付けが挙げられています
使い方
- pip install torch "transformers>=4.57" pillow huggingface_hub を実行し、ffmpeg をインストールしてください。リポジトリから shot_reader.py と schema.md をダウンロードします
- python shot_reader.py clip.mp4 --subject "P01: person (説明)" --subject "O01: dog" のように実行します。VRAM が少ない場合は --load-in-4bit(bitsandbytes が必要)を追加し、速度を重視する場合は --backend vllm を使用します
- 一度に入力できるのは連続した1つのショットのみです。長い動画は編集点で事前に分割してください。フィールドの説明は schema.md を参照し、個別の LoRA アダプターは lora/ ディレクトリにあります
リスク
- 作者によると、アクションイベントとキャラクターの動きルートは実写素材において最も精度が低い項目であり、単一のカメラ位置からの推定では通常数メートルの誤差が生じます
- 比較結果は作者による自己テスト(同じプロンプトと形式を各モデルに与えたもの)であり、第三者による再現はまだありません。実写素材のラベルは最先端モデルにより自動アノテーションされました。本項目は実行されていません