Depth Pro 2: Mô hình độ sâu đo lường đơn mắt của Apple, hỗ trợ video

Depth Pro thế hệ thứ hai từ nhóm nghiên cứu máy học của Apple, kèm theo báo cáo kỹ thuật arXiv 2611.26603. Đầu vào có thể là một bức ảnh, một đoạn video hoàn chỉnh hoặc luồng thời gian thực, đầu ra là độ sâu từng pixel theo đơn vị mét ở độ phân giải gốc, nổi bật với các cạnh vật thể sắc nét và không bị rung giữa các khung hình. Kiến trúc là Transformer đa góc nhìn: một phần ba đầu tiên của các khối chỉ sử dụng cơ chế tự chú ý trong khung hình (intra-frame attention), sau đó xen kẽ giữa tự chú ý trong khung hình và giữa các khung hình, rồi sử dụng bộ giải mã DPT để xuất độ sâu nghịch đảo cho mỗi khung hình. Có bốn kích thước: S (24M), B (97M), L (334M), H+ (872M), cùng với một bộ ước lượng tiêu cự dùng chung, tự động ước lượng khi ảnh hoặc video không có thông tin tiêu cự.

Tiêu đề gốc: apple/DepthPro2

Depth Pro thế hệ thứ hai từ nhóm nghiên cứu máy học của Apple, kèm theo báo cáo kỹ thuật arXiv 2611.26603. Đầu vào có thể là một bức ảnh, một đoạn video hoàn chỉnh hoặc luồng thời gian thực, đầu ra là độ sâu từng pixel theo đơn vị mét ở độ phân giải gốc, nổi bật với các cạnh vật thể sắc nét và không bị rung giữa các khung hình. Kiến trúc là Transformer đa góc nhìn: một phần ba đầu tiên của các khối chỉ sử dụng cơ chế tự chú ý trong khung hình (intra-frame attention), sau đó xen kẽ giữa tự chú ý trong khung hình và giữa các khung hình, rồi sử dụng bộ giải mã DPT để xuất độ sâu nghịch đảo cho mỗi khung hình. Có bốn kích thước: S (24M), B (97M), L (334M), H+ (872M), cùng với một bộ ước lượng tiêu cự dùng chung, tự động ước lượng khi ảnh hoặc video không có thông tin tiêu cự.

Tại sao quan trọng Việc chiếu sáng lại video, tổng hợp hình ảnh và tái tạo 3D đều cần độ sâu ổn định theo từng khung hình; mô hình này xử lý đồng thời cả ảnh đơn và video bằng một mạng duy nhất, với bốn kích thước phù hợp từ laptop đến card đồ họa

Điểm tăng 115 · Lượt thích 126 · Lượt tải 0

Lý do

  • Apple chính thức so sánh các phương pháp đơn khung và đa khung trên bộ dữ liệu Sintel và Spring, tuyên bố rằng cả hai chỉ số về độ sắc nét của biên (Boundary F1) và độ rung giữa các khung (Jitter) đều tốt hơn các phương pháp trước đó
  • Chế độ video mặc định xử lý 16 khung mỗi lần, với các đoạn liền kề chồng lấn 4 khung; chế độ thời gian thực chỉ xem xét khung hiện tại và 15 khung trước đó, dùng cho đầu vào từ camera
  • Có thể xuất độ sâu nghịch đảo PNG 16 bit để đưa trực tiếp vào Nuke, Blender để tổng hợp, hoặc lưu dưới dạng npz kèm tiêu cự để chuyển thành đám mây điểm; cũng cung cấp phiên bản Core ML cho các thiết bị Apple

Cách sử dụng

  • Mã: https://github.com/apple-aiml-research/ml-depth-pro-2;权重:apple/DepthPro2-S / -B / -L / -H và apple/DepthPro2-focal
  • Dòng lệnh: Sau khi cài uv, chạy trong kho lưu trữ: uv run depth-pro-2 predict -i ảnh hoặc video -o out/; mặc định tải H+ (3.5 GB), thêm -m depthpro2-s cho laptop; hỗ trợ CUDA, GPU chip Apple và CPU
  • Tham số: --mode unbuffered để chạy thời gian thực, --window / --overlap để điều chỉnh độ dài đoạn; --save-png16 để lưu bản đồ độ sâu 16 bit, --save-npz để lưu độ sâu theo mét và tiêu cự

Rủi ro

  • Trọng số tuân theo giấy phép mô hình nghiên cứu máy học của Apple, chỉ được phép sử dụng cho mục đích nghiên cứu phi thương mại và phát triển học thuật
  • Kho lưu trữ không bao gồm mã huấn luyện và đánh giá; độ sâu ở các vùng vô cực như bầu trời là vô cùng hoặc vài km, cần cắt bỏ trước khi tạo đám mây điểm; nếu ước lượng tiêu cự sai, độ sâu sẽ bị lệch tỷ lệ toàn cục. Mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất