Оригинальное название: apple/DepthPro2
Второе поколение Depth Pro от исследовательской команды Apple Machine Learning, сопровождаемое техническим отчетом arXiv 2611.26603. На вход подается одна фотография, целое видео или поток в реальном времени, а на выход — попиксельная глубина в метрах в исходном разрешении. Ключевые особенности: четкие границы объектов и отсутствие дрожания между кадрами. Архитектура представляет собой многовидовой трансформер: первые треть блоков выполняют только внутрикадровое внимание, затем чередуются внутрикадровое и межвидовое внимание, после чего декодер DPT выводит обратную глубину для каждого кадра. Доступны четыре размера: S (24M), B (97M), L (334M) и H+ (872M), а также общий оценщик фокусного расстояния, который автоматически оценивает его, если информация о фокусном расстоянии отсутствует в фото или видео.
Почему это важно Стабильная попиксельная глубина по кадрам необходима для переосвещения видео, композитинга и 3D-реконструкции; эта модель обрабатывает как отдельные изображения, так и видео одним сетью, а четыре размера позволяют использовать её от ноутбуков до мощных видеокарт
Рост рейтинга 115 · Лайки 126 · Загрузки 0
Обоснование
- Официально на наборах данных Sintel и Spring проводилось сравнение однокадровых и многокадровых методов, при этом заявлено, что оба показателя — чёткость границ (Boundary F1) и межфреймовая нестабильность (Jitter) — превосходят результаты предыдущих методов
- По умолчанию видео обрабатывается блоками по 16 кадров с перекрытием соседних сегментов на 4 кадров; в режиме реального времени используются только текущий кадр и предыдущие 15 кадров, что подходит для входных данных с камеры
- Можно экспортировать 16-битные PNG-файлы с обратными глубинами 16 для прямой интеграции в Nuke и Blender, а также сохранять данные в формате npz с фокусным расстоянием для преобразования в облако точек; дополнительно доступна версия Core ML для устройств Apple
Использование
- Код: https://github.com/apple-aiml-research/ml-depth-pro-2;权重:apple/DepthPro2-S / -B / -L / -H и apple/DepthPro2-focal
- Командная строка: после установки uv выполните в репозитории команду uv run depth-pro-2 predict -i фото или видео -o out/; по умолчанию загружается модель H+ (3.5 ГБ), для ноутбуков добавьте параметр -m depthpro2-s; поддерживаются CUDA, GPU на чипах Apple и CPU
- Параметры: --mode unbuffered для работы в реальном времени, --window / --overlap для настройки длины фрагментов; --save-png16 сохраняет карты глубины 16 бит, --save-npz сохраняет метрическую глубину и фокусное расстояние
Риски
- Веса распространяются по лицензии Apple Machine Learning Research, разрешено только некоммерческое научное исследование и академическая разработка
- Репозиторий не содержит кода для обучения и оценки; глубина для неба и других объектов на бесконечности равна бесконечности или нескольким километрам, поэтому перед построением облака точек необходимо выполнить усечение; ошибка в оценке фокусного расстояния приводит к масштабному смещению всей глубины. Данный пункт не был протестирован