原题:apple/DepthPro2
苹果机器学习研究团队的第二代 Depth Pro,配套技术报告 arXiv 2611.26603。输入一张照片、一整段视频或实时画面,按原分辨率输出以米为单位的逐像素深度,主打物体边缘锐利、前后帧不抖。结构是多视角 Transformer:前三分之一的块只做帧内注意力,之后帧内、跨帧交替,再用 DPT 解码器给每帧输出逆深度。分 S(24M)、B(97M)、L(334M)、H+(872M)四个尺寸,另有一个共用的焦距估计器,照片或视频没有焦距信息时自动估计。
为什么重要 做视频重打光、合成、三维重建都要稳定的逐帧深度;它一个网络同时处理单图和视频,四个尺寸从笔记本到显卡都有
上升分 115 · 点赞 126 · 下载量 0
理由
- 官方在 Sintel 和 Spring 数据集上对比单帧和多帧方法,称边缘清晰度(Boundary F1)和帧间抖动(Jitter)两项都优于此前方法
- 视频默认每次处理 16 帧、相邻片段重叠 4 帧;实时模式只看当前帧和之前 15 帧,用于摄像头输入
- 可导出 16 位逆深度 PNG 直接进 Nuke、Blender 合成,也可存成带焦距的 npz 转点云;另提供 Core ML 版本给苹果设备
用法
- 代码:https://github.com/apple-aiml-research/ml-depth-pro-2;权重:apple/DepthPro2-S / -B / -L / -H 和 apple/DepthPro2-focal
- 命令行:装 uv 后在仓库里运行 uv run depth-pro-2 predict -i 照片或视频 -o out/;默认下载 H+(3.5 GB),笔记本加 -m depthpro2-s;支持 CUDA、Apple 芯片 GPU 和 CPU
- 参数:--mode unbuffered 做实时,--window / --overlap 调片段长度;--save-png16 存 16 位深度图,--save-npz 存米制深度和焦距
风险
- 权重是苹果机器学习研究模型许可,只能用于非商业科研和学术开发
- 仓库不含训练和评测代码;天空等无穷远处深度为无穷大或几公里,做点云前要截断;焦距估错会让深度按比例整体偏移。本条未运行