Depth Pro 2: Apple의 단안 계측 깊이 모델, 비디오 지원

Apple Machine Learning Research 팀의 2세대 Depth Pro로, 기술 보고서 arXiv 2611.26603이 함께 제공됩니다. 사진 한 장, 전체 비디오 또는 실시간 입력을 받아 원본 해상도에서 미터 단위의 픽셀별 깊이를 출력하며, 물체 경계의 선명도와 프레임 간 안정성을 강조합니다. 구조는 멀티뷰 Transformer로, 전체 블록의 첫 3분의 1은 프레임 내 주의력만 수행하고, 이후에는 프레임 내 및 프레임 간 주의력이 교대로 적용된 후 DPT 디코더를 통해 각 프레임의 역깊이를 출력합니다. S(24M), B(97M), L(334M), H+(872M)의 네 가지 크기로 제공되며, 사진이나 비디오에 초점 거리 정보가 없을 때 자동으로 추정하는 공용 초점 거리 추정기가 포함됩니다.

원제: apple/DepthPro2

Apple Machine Learning Research 팀의 2세대 Depth Pro로, 기술 보고서 arXiv 2611.26603이 함께 제공됩니다. 사진 한 장, 전체 비디오 또는 실시간 입력을 받아 원본 해상도에서 미터 단위의 픽셀별 깊이를 출력하며, 물체 경계의 선명도와 프레임 간 안정성을 강조합니다. 구조는 멀티뷰 Transformer로, 전체 블록의 첫 3분의 1은 프레임 내 주의력만 수행하고, 이후에는 프레임 내 및 프레임 간 주의력이 교대로 적용된 후 DPT 디코더를 통해 각 프레임의 역깊이를 출력합니다. S(24M), B(97M), L(334M), H+(872M)의 네 가지 크기로 제공되며, 사진이나 비디오에 초점 거리 정보가 없을 때 자동으로 추정하는 공용 초점 거리 추정기가 포함됩니다.

왜 중요한가 비디오 리라이팅, 합성, 3D 재구성에는 안정적인 프레임별 깊이가 필수적입니다. 이 모델은 하나의 네트워크로 단일 이미지와 비디오를 모두 처리하며, 네 가지 크기를 통해 노트북부터 고성능 GPU까지 다양한 환경에서 사용할 수 있습니다

상승 점수 115 · 좋아요 126 · 다운로드 수 0

이유

  • 공식적으로 Sintel 및 Spring 데이터셋에서 단일 프레임 및 다중 프레임 방법과 비교했을 때, 경계 선명도(Boundary F1)와 프레임 간 지터(Jitter) 모두 기존 방법보다 우수하다고 보고되었습니다
  • 비디오는 기본적으로 매번 16 프레임을 처리하고 인접한 세그먼트 간에 4 프레임을 겹치며, 실시간 모드는 현재 프레임과 이전 15 프레임만 사용하여 카메라 입력에 활용됩니다
  • 16비트 역깊이 PNG를 내보내 Nuke, Blender 합성에 직접 사용할 수 있으며, 초점 거리 정보가 포함된 npz 형식으로 저장하여 점운으로 변환할 수도 있습니다. 또한 Apple 디바이스를 위한 Core ML 버전이 제공됩니다

사용법

  • 코드: https://github.com/apple-aiml-research/ml-depth-pro-2;权重:apple/DepthPro2-S / -B / -L / -H 및 apple/DepthPro2-focal
  • 명령줄: uv를 설치한 후 저장소에서 uv run depth-pro-2 predict -i 사진또는비디오 -o out/를 실행합니다. 기본적으로 H+(3.5 GB)가 다운로드되며, 노트북에서는 -m depthpro2-s를 추가합니다. CUDA, Apple Silicon GPU 및 CPU를 지원합니다
  • 매개변수: --mode unbuffered로 실시간 처리를 수행하고, --window / --overlap으로 세그먼트 길이를 조정합니다. --save-png16로 16비트 깊이 맵을 저장하고, --save-npz로 미터 단위 깊이와 초점 거리를 저장합니다

리스크

  • 가중치는 Apple Machine Learning Research 모델 라이선스를 따르며, 비상업적 연구 및 학술 개발에만 사용할 수 있습니다
  • 저장소에는 학습 및 평가 코드가 포함되어 있지 않습니다. 하늘 등 무한대 거리의 깊이는 무한대 또는 수 킬로미터로 나타나므로 점운 생성 전에 절단(truncation)이 필요합니다. 초점 거리 추정이 잘못되면 깊이가 전체적으로 비례하여 이동할 수 있습니다. 이 항목은 실행되지 않았습니다

열기

Hugging Face Trending

최신 AI 소식 보기