Titre original : apple/DepthPro2
La deuxième génération de Depth Pro par l'équipe de recherche en apprentissage automatique d'Apple, accompagnée d'un rapport technique arXiv 2611.26603. En entrée, une photo, une vidéo complète ou un flux en temps réel ; en sortie, une profondeur par pixel en mètres à la résolution native, avec des contours nets et une stabilité temporelle entre les images. L'architecture est un Transformer multi-vues : le premier tiers des blocs effectue uniquement une attention intra-image, puis l'attention intra-image et inter-images s'alternent, avant qu'un décodeur DPT ne génère la profondeur inverse pour chaque image. Quatre tailles sont disponibles : S (24 M), B (97 M), L (334 M) et H+ (872 M), ainsi qu'un estimateur de focale partagé, utilisé automatiquement lorsque les informations de focale sont absentes des photos ou vidéos.
Pourquoi c'est important La rééclairage vidéo, la composition et la reconstruction 3D nécessitent une profondeur stable image par image ; ce réseau unique traite à la fois les images uniques et les vidéos, avec quatre tailles adaptées du portable aux cartes graphiques
Score de montée 115 · J'aime 126 · Téléchargements 0
Justification
- Les développeurs officiels comparent les méthodes mono-image et multi-images sur les jeux de données Sintel et Spring, affirmant que la netteté des contours (Boundary F1) et le tremblement inter-images (Jitter) sont tous deux supérieurs aux méthodes précédentes
- Par défaut, le traitement vidéo traite 16 images par passe, avec un chevauchement de 4 images entre les segments adjacents ; le mode temps réel ne considère que l'image courante et les 15 images précédentes, destiné aux flux de caméra
- Il est possible d'exporter des PNG de profondeur inverse en 16 bits directement vers Nuke et Blender pour la composition, ou de les enregistrer au format npz avec les paramètres de focale pour la conversion en nuage de points ; une version Core ML est également fournie pour les appareils Apple
Utilisation
- Code : https://github.com/apple-aiml-research/ml-depth-pro-2;权重:apple/DepthPro2-S / -B / -L / -H et apple/DepthPro2-focal
- Ligne de commande : après avoir installé uv, exécutez
uv run depth-pro-2 predict -i photo_ou_video -o out/dans le dépôt ; téléchargement par défaut de H+ (3.5 Go), ajoutez-m depthpro2-ssur un ordinateur portable ; prise en charge de CUDA, du GPU des puces Apple et du CPU - Paramètres :
--mode unbufferedpour le temps réel,--window/--overlappour ajuster la longueur des segments ;--save-png16pour enregistrer des cartes de profondeur 16 bits,--save-npzpour enregistrer la profondeur métrique et la focale
Risques
- Les poids sont sous licence Apple Machine Learning Research, utilisables uniquement pour la recherche non commerciale et le développement académique
- Le dépôt ne contient pas le code d'entraînement ni d'évaluation ; la profondeur des objets à l'infini (comme le ciel) est infinie ou de plusieurs kilomètres, nécessitant une troncature avant la création de nuages de points ; une estimation erronée de la focale provoque un décalage proportionnel global de la profondeur. Cette entrée n'a pas été exécutée