JoVox: Mô hình sinh thể tích nhẹ tạo đồng thời tất cả các cấp độ

Sinh thể tích theo phân cấp thường xác định trước các lớp thô, trong đó lớp thô quyết định vị trí có thể xuất hiện chi tiết; tuy nhiên, lớp thô nắm giữ ít thông tin nhất và không được chỉnh sửa sau khi đã cố định, dẫn đến kết quả thường "trông hợp lý nhưng sai". JoVox sử dụng khớp dòng rời rạc (discrete flow matching) để học phân phối đồng thời của tất cả các cấp độ thể tích, cho phép các lớp mịn tham gia vào việc quyết định các lớp thô; bằng cách dự đoán một đơn vị bao gồm hai cấp độ mịn cùng lúc, số lượng cấp độ mà mạng cần xử lý được giảm đi một nửa; sau đó, sử dụng một chiến lược giải mặt nạ (unmasking) để quay lại chỉnh sửa các quyết định ban đầu sau khi các lớp mịn đã được sinh ra. Các tác giả tuyên bố rằng so với TRELLIS.2 cùng kiến trúc cơ bản, thông lượng huấn luyện tăng gấp 8 lần, khối lượng tính toán cho một lần truyền tiến (forward pass) chỉ bằng 1/15, quá trình huấn luyện chỉ sử dụng 4 GPU thay vì 32 GPU, và khoảng cách Chamfer thấp hơn 11%.

Tiêu đề gốc: JoVox: Khớp dòng phân cấp đồng thời cho sinh thể tích nhẹ

Sinh thể tích theo phân cấp thường xác định trước các lớp thô, trong đó lớp thô quyết định vị trí có thể xuất hiện chi tiết; tuy nhiên, lớp thô nắm giữ ít thông tin nhất và không được chỉnh sửa sau khi đã cố định, dẫn đến kết quả thường "trông hợp lý nhưng sai". JoVox sử dụng khớp dòng rời rạc (discrete flow matching) để học phân phối đồng thời của tất cả các cấp độ thể tích, cho phép các lớp mịn tham gia vào việc quyết định các lớp thô; bằng cách dự đoán một đơn vị bao gồm hai cấp độ mịn cùng lúc, số lượng cấp độ mà mạng cần xử lý được giảm đi một nửa; sau đó, sử dụng một chiến lược giải mặt nạ (unmasking) để quay lại chỉnh sửa các quyết định ban đầu sau khi các lớp mịn đã được sinh ra. Các tác giả tuyên bố rằng so với TRELLIS.2 cùng kiến trúc cơ bản, thông lượng huấn luyện tăng gấp 8 lần, khối lượng tính toán cho một lần truyền tiến (forward pass) chỉ bằng 1/15, quá trình huấn luyện chỉ sử dụng 4 GPU thay vì 32 GPU, và khoảng cách Chamfer thấp hơn 11%.

Tại sao quan trọng Giai đoạn cấu trúc chuyển từ hình ảnh sang 3D 3 đạt độ chính xác tốt hơn với ít tài nguyên tính toán hơn, phù hợp cho các nhóm có hạn chế về năng lực tính toán khi huấn luyện và cải tiến mô hình

Thích 3 · Số sao mã nguồn 43

Lý do

  • Giai đoạn cấu trúc chuyển từ hình ảnh sang 3D 3 có thể được thay thế độc lập: kho lưu trữ cung cấp bộ sinh độ phân giải 64³ với điều kiện là hình ảnh, việc tạo lưới (meshing) được giao cho giai đoạn thứ hai của TRELLIS.2
  • Mã nguồn huấn luyện, lấy mẫu và đánh giá đầy đủ, mã nguồn và trọng số theo giấy phép Apache-2.0

Cách sử dụng

  • Mã nguồn: https://github.com/yuyujunjun/JoVox;权重:抱脸 xiangjuntang/JoVox-64
  • Sau khi thiết lập môi trường, sử dụng scripts/img2mesh.py để chuyển đổi hình ảnh thành lưới qua ba giai đoạn: chuẩn bị (prep) → thể tích hóa (voxel) → tạo lưới (mesh), có tám hình ảnh ví dụ trong thư mục assets/examples

Rủi ro

  • Phụ thuộc nhiều: cần biên dịch nhiều phần mở rộng CUDA, và tải xuống DINOv3, RMBG-2.0 (cần yêu cầu quyền truy cập trên Hugging Face) và TRELLIS.2-4B
  • Hiện tại chỉ phát hành mô hình độ phân giải 64³, các tác giả chỉ thử nghiệm trên A100
  • So sánh độ chính xác được đo trên 1000 vật thể trong Toys4k; mục này chưa được chạy

Mở · Mã nguồn · Trang bài báo trên Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất