Depth Pro 2:Apple の単眼メトリック深度モデル、動画に対応

Apple Machine Learning Research チームによる第 2 世代の Depth Pro、技術レポート arXiv 2611.26603 を併載。写真 1 枚、動画全体、またはリアルタイム映像を入力すると、元の解像度でメートル単位のピクセルごとの深度を出力します。物体のエッジが鋭く、フレーム間の揺れが少ないことが特徴です。構造はマルチビュー Transformer で、ブロックの最初の 3 分の 1 はフレーム内アテンションのみを行い、その後はフレーム内とフレーム間アテンションを交互に適用し、DPT デコーダーで各フレームの逆深度を出力します。サイズは S(24M)、B(97M)、L(334M)、H+(872M)の 4 種類があり、さらに共用の焦点距離推定器が用意されており、写真や動画に焦点距離情報が含まれない場合は自動的に推定されます。

原题:apple/DepthPro2

Apple Machine Learning Research チームによる第 2 世代の Depth Pro、技術レポート arXiv 2611.26603 を併載。写真 1 枚、動画全体、またはリアルタイム映像を入力すると、元の解像度でメートル単位のピクセルごとの深度を出力します。物体のエッジが鋭く、フレーム間の揺れが少ないことが特徴です。構造はマルチビュー Transformer で、ブロックの最初の 3 分の 1 はフレーム内アテンションのみを行い、その後はフレーム内とフレーム間アテンションを交互に適用し、DPT デコーダーで各フレームの逆深度を出力します。サイズは S(24M)、B(97M)、L(334M)、H+(872M)の 4 種類があり、さらに共用の焦点距離推定器が用意されており、写真や動画に焦点距離情報が含まれない場合は自動的に推定されます。

なぜ重要か 動画のリライティング、合成、3D 再構築には安定したフレームごとの深度が必要ですが、このモデルは単一のネットワークで静止画と動画の両方を処理でき、4 つのサイズ展開によりノートパソコンから GPU サーバーまで対応可能です

上昇スコア 115 · いいね数 126 · ダウンロード数 0

理由

  • 公式は Sintel および Spring データセットで単フレーム手法とマルチフレーム手法を比較し、エッジの鮮明さ(Boundary F1)とフレーム間の揺れ(Jitter)の両項目において既存手法を上回ると述べています
  • 動画ではデフォルトで毎回 16 フレームを処理し、隣接するセグメント間で 4 フレームが重複します。リアルタイムモードでは現在のフレームと直前の 15 フレームのみを使用し、カメラ入力に対応しています
  • Nuke や Blender での合成に直接使えるよう、16 ビットの逆深度 PNG を出力できます。また、焦点距離付きの npz ファイルとして保存し点雲に変換することも可能です。さらに Apple デバイス向けに Core ML バージョンも提供されています

使い方

  • コード:https://github.com/apple-aiml-research/ml-depth-pro-2;权重:apple/DepthPro2-S / -B / -L / -H および apple/DepthPro2-focal
  • コマンドライン:uv をインストール後、リポジトリ内で uv run depth-pro-2 predict -i 写真または動画 -o out/ を実行します。デフォルトでは H+(3.5 GB)がダウンロードされますが、ノートパソコンでは -m depthpro2-s を追加してください。CUDA、Apple Silicon GPU、CPU に対応しています
  • パラメータ:--mode unbuffered でリアルタイム処理を行い、--window / --overlap でセグメント長を調整します。--save-png16 で 16 ビットの深度マップを保存し、--save-npz でメートル単位の深度と焦点距離を保存します

リスク

  • 重みは Apple Machine Learning Research モデルライセンスの下で提供されており、非商業的な研究および学術開発にのみ使用できます
  • リポジトリにはトレーニングコードと評価コードが含まれていません。空などの無限遠の深度は無限大または数キロメートルになるため、点雲作成前に切り捨てる必要があります。焦点距離の推定誤差により、深度全体が比例してずれる可能性があります。本項目は実行されていません

開く

Hugging Face Trending

最新の AI ニュースを見る