Depth Pro 2: монокулярная метрическая модель глубины от Apple, поддерживающая видео

Второе поколение Depth Pro от исследовательской команды Apple Machine Learning, сопровождаемое техническим отчетом arXiv 2611.26603. На вход подается одна фотография, целое видео или поток в реальном времени, а на выход — попиксельная глубина в метрах в исходном разрешении. Ключевые особенности: четкие границы объектов и отсутствие дрожания между кадрами. Архитектура представляет собой многовидовой трансформер: первые треть блоков выполняют только внутрикадровое внимание, затем чередуются внутрикадровое и межвидовое внимание, после чего декодер DPT выводит обратную глубину для каждого кадра. Доступны четыре размера: S (24M), B (97M), L (334M) и H+ (872M), а также общий оценщик фокусного расстояния, который автоматически оценивает его, если информация о фокусном расстоянии отсутствует в фото или видео.

Оригинальное название: apple/DepthPro2

Второе поколение Depth Pro от исследовательской команды Apple Machine Learning, сопровождаемое техническим отчетом arXiv 2611.26603. На вход подается одна фотография, целое видео или поток в реальном времени, а на выход — попиксельная глубина в метрах в исходном разрешении. Ключевые особенности: четкие границы объектов и отсутствие дрожания между кадрами. Архитектура представляет собой многовидовой трансформер: первые треть блоков выполняют только внутрикадровое внимание, затем чередуются внутрикадровое и межвидовое внимание, после чего декодер DPT выводит обратную глубину для каждого кадра. Доступны четыре размера: S (24M), B (97M), L (334M) и H+ (872M), а также общий оценщик фокусного расстояния, который автоматически оценивает его, если информация о фокусном расстоянии отсутствует в фото или видео.

Почему это важно Стабильная попиксельная глубина по кадрам необходима для переосвещения видео, композитинга и 3D-реконструкции; эта модель обрабатывает как отдельные изображения, так и видео одним сетью, а четыре размера позволяют использовать её от ноутбуков до мощных видеокарт

Рост рейтинга 115 · Лайки 126 · Загрузки 0

Обоснование

  • Официально на наборах данных Sintel и Spring проводилось сравнение однокадровых и многокадровых методов, при этом заявлено, что оба показателя — чёткость границ (Boundary F1) и межфреймовая нестабильность (Jitter) — превосходят результаты предыдущих методов
  • По умолчанию видео обрабатывается блоками по 16 кадров с перекрытием соседних сегментов на 4 кадров; в режиме реального времени используются только текущий кадр и предыдущие 15 кадров, что подходит для входных данных с камеры
  • Можно экспортировать 16-битные PNG-файлы с обратными глубинами 16 для прямой интеграции в Nuke и Blender, а также сохранять данные в формате npz с фокусным расстоянием для преобразования в облако точек; дополнительно доступна версия Core ML для устройств Apple

Использование

  • Код: https://github.com/apple-aiml-research/ml-depth-pro-2;权重:apple/DepthPro2-S / -B / -L / -H и apple/DepthPro2-focal
  • Командная строка: после установки uv выполните в репозитории команду uv run depth-pro-2 predict -i фото или видео -o out/; по умолчанию загружается модель H+ (3.5 ГБ), для ноутбуков добавьте параметр -m depthpro2-s; поддерживаются CUDA, GPU на чипах Apple и CPU
  • Параметры: --mode unbuffered для работы в реальном времени, --window / --overlap для настройки длины фрагментов; --save-png16 сохраняет карты глубины 16 бит, --save-npz сохраняет метрическую глубину и фокусное расстояние

Риски

  • Веса распространяются по лицензии Apple Machine Learning Research, разрешено только некоммерческое научное исследование и академическая разработка
  • Репозиторий не содержит кода для обучения и оценки; глубина для неба и других объектов на бесконечности равна бесконечности или нескольким километрам, поэтому перед построением облака точек необходимо выполнить усечение; ошибка в оценке фокусного расстояния приводит к масштабному смещению всей глубины. Данный пункт не был протестирован

Открыть

Hugging Face Trending

Открыть последние новости ИИ