Depth Pro 2 : le modèle de profondeur métrique monoculaire d'Apple, compatible avec la vidéo

La deuxième génération de Depth Pro par l'équipe de recherche en apprentissage automatique d'Apple, accompagnée d'un rapport technique arXiv 2611.26603. En entrée, une photo, une vidéo complète ou un flux en temps réel ; en sortie, une profondeur par pixel en mètres à la résolution native, avec des contours nets et une stabilité temporelle entre les images. L'architecture est un Transformer multi-vues : le premier tiers des blocs effectue uniquement une attention intra-image, puis l'attention intra-image et inter-images s'alternent, avant qu'un décodeur DPT ne génère la profondeur inverse pour chaque image. Quatre tailles sont disponibles : S (24 M), B (97 M), L (334 M) et H+ (872 M), ainsi qu'un estimateur de focale partagé, utilisé automatiquement lorsque les informations de focale sont absentes des photos ou vidéos.

Titre original : apple/DepthPro2

La deuxième génération de Depth Pro par l'équipe de recherche en apprentissage automatique d'Apple, accompagnée d'un rapport technique arXiv 2611.26603. En entrée, une photo, une vidéo complète ou un flux en temps réel ; en sortie, une profondeur par pixel en mètres à la résolution native, avec des contours nets et une stabilité temporelle entre les images. L'architecture est un Transformer multi-vues : le premier tiers des blocs effectue uniquement une attention intra-image, puis l'attention intra-image et inter-images s'alternent, avant qu'un décodeur DPT ne génère la profondeur inverse pour chaque image. Quatre tailles sont disponibles : S (24 M), B (97 M), L (334 M) et H+ (872 M), ainsi qu'un estimateur de focale partagé, utilisé automatiquement lorsque les informations de focale sont absentes des photos ou vidéos.

Pourquoi c'est important La rééclairage vidéo, la composition et la reconstruction 3D nécessitent une profondeur stable image par image ; ce réseau unique traite à la fois les images uniques et les vidéos, avec quatre tailles adaptées du portable aux cartes graphiques

Score de montée 115 · J'aime 126 · Téléchargements 0

Justification

  • Les développeurs officiels comparent les méthodes mono-image et multi-images sur les jeux de données Sintel et Spring, affirmant que la netteté des contours (Boundary F1) et le tremblement inter-images (Jitter) sont tous deux supérieurs aux méthodes précédentes
  • Par défaut, le traitement vidéo traite 16 images par passe, avec un chevauchement de 4 images entre les segments adjacents ; le mode temps réel ne considère que l'image courante et les 15 images précédentes, destiné aux flux de caméra
  • Il est possible d'exporter des PNG de profondeur inverse en 16 bits directement vers Nuke et Blender pour la composition, ou de les enregistrer au format npz avec les paramètres de focale pour la conversion en nuage de points ; une version Core ML est également fournie pour les appareils Apple

Utilisation

  • Code : https://github.com/apple-aiml-research/ml-depth-pro-2;权重:apple/DepthPro2-S / -B / -L / -H et apple/DepthPro2-focal
  • Ligne de commande : après avoir installé uv, exécutez uv run depth-pro-2 predict -i photo_ou_video -o out/ dans le dépôt ; téléchargement par défaut de H+ (3.5 Go), ajoutez -m depthpro2-s sur un ordinateur portable ; prise en charge de CUDA, du GPU des puces Apple et du CPU
  • Paramètres : --mode unbuffered pour le temps réel, --window / --overlap pour ajuster la longueur des segments ; --save-png16 pour enregistrer des cartes de profondeur 16 bits, --save-npz pour enregistrer la profondeur métrique et la focale

Risques

  • Les poids sont sous licence Apple Machine Learning Research, utilisables uniquement pour la recherche non commerciale et le développement académique
  • Le dépôt ne contient pas le code d'entraînement ni d'évaluation ; la profondeur des objets à l'infini (comme le ciel) est infinie ou de plusieurs kilomètres, nécessitant une troncature avant la création de nuages de points ; une estimation erronée de la focale provoque un décalage proportionnel global de la profondeur. Cette entrée n'a pas été exécutée

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA