JoVox: 모든 계층을 함께 생성하는 경량 복셀 생성 모델

계층식 복셀 생성은 먼저 거친 계층을 결정하며, 거친 계층은 세부 사항이 어디에 나타날지 결정하지만 가장 적은 정보를 가지고 있고 한 번 결정되면 수정되지 않아 결과가 종종 '합리적으로 보이지만 잘못된' 경우가 많습니다. JoVox는 이산 흐름 매칭(discrete flow matching)을 사용하여 복셀의 모든 계층에 대한 결합 분포를 학습하고, 세부 계층이 거친 계층 결정에 참여하도록 합니다. 한 번에 두 단계의 세부 계층 단위를 예측하여 네트워크가 처리해야 할 계층 수를 절반으로 줄이며, 마스킹 해제(masking) 전략을 사용하여 세부 계층 생성 후 초기 결정을 되돌려 수정합니다. 저자들은 동일한 백본을 사용하는 TRELLIS.2와 비교할 때, 학습 처리량이 8배 증가하고, 단일 순방향 계산량은 그 1/15이며, 학습에는 32장이 아닌 4장의 GPU만 사용되며, Chamfer 거리는 11% 낮아진다고 보고했습니다.

원제: JoVox: Joint Hierarchical Flow Matching for Lightweight Voxel Generation

계층식 복셀 생성은 먼저 거친 계층을 결정하며, 거친 계층은 세부 사항이 어디에 나타날지 결정하지만 가장 적은 정보를 가지고 있고 한 번 결정되면 수정되지 않아 결과가 종종 '합리적으로 보이지만 잘못된' 경우가 많습니다. JoVox는 이산 흐름 매칭(discrete flow matching)을 사용하여 복셀의 모든 계층에 대한 결합 분포를 학습하고, 세부 계층이 거친 계층 결정에 참여하도록 합니다. 한 번에 두 단계의 세부 계층 단위를 예측하여 네트워크가 처리해야 할 계층 수를 절반으로 줄이며, 마스킹 해제(masking) 전략을 사용하여 세부 계층 생성 후 초기 결정을 되돌려 수정합니다. 저자들은 동일한 백본을 사용하는 TRELLIS.2와 비교할 때, 학습 처리량이 8배 증가하고, 단일 순방향 계산량은 그 1/15이며, 학습에는 32장이 아닌 4장의 GPU만 사용되며, Chamfer 거리는 11% 낮아진다고 보고했습니다.

중요한 이유 이미지에서 3D 구조 단계로 변환하는 과정에서 더 적은 연산량으로 더 높은 정확도를 달성할 수 있어, 연산 자원이 제한된 팀이 모델을 학습하고 개선하기에 적합합니다

좋아요 3 · 코드 스타 수 43

이유

  • 이미지에서 3D 구조 단계로 변환하는 과정은 독립적으로 교체 가능: 저장소에는 이미지 조건부 64³ 생성기가 제공되며, 메시 생성은 TRELLIS.2의 2단계에 위임합니다
  • 학습, 샘플링 및 평가 코드가 완비되어 있으며, 코드와 가중치는 Apache-2.0 라이선스를 따릅니다

사용법

  • 코드: https://github.com/yuyujunjun/JoVox;权重:抱脸 xiangjuntang/JoVox-64
  • 환경 설정 후 scripts/img2mesh.py를 사용하여 prep → voxel → mesh의 3단계 과정을 통해 이미지를 메시로 변환할 수 있으며, assets/examples 폴더에는 8장의 예제 이미지가 포함되어 있습니다

리스크

  • 의존성이 많음: 여러 CUDA 확장을 컴파일해야 하며, DINOv3, RMBG-2.0(Hugging Face에서 접근 권한 신청 필요) 및 TRELLIS.2-4B를 다운로드해야 합니다
  • 현재 64³ 해상도 모델만 공개되었으며, 저자는 A100에서만 테스트했습니다
  • 정확도 비교는 Toys4k의 1000개 물체에서 측정되었습니다; 이 항목은 실행되지 않았습니다

열기 · 코드 · Hugging Face 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기