Direct3D-V3

Direct3D-V3는 난징 대학교, DreamTech, 홍콩 대학교 및 옥스퍼드 대학교 팀의 연구 결과로(SIGGRAPH Asia 2026 / ACM TOG), 잠재 공간(latent space)이 없는 확산 트랜스포머(Diffusion Transformer)를 사용하여 원시 SDF 복셀 그리드를 직접 생성하며, 512, 1024, 1536 세 단계의 해상도로 점진적으로 세분화합니다. 11월 19일에 추론 코드와 가중치가 공개되었습니다. 입력은 참조 이미지(추천: 먼저 GPT Image 2.5, Lotus-2 또는 Qwen-Image-2.1를 사용하여 법선 맵(normal map) 또는 텍스처가 제거된 화이트 모델 이미지로 변환)과 방향이 정렬된 거친 메쉬(coarse mesh)이며, 출력은 GLB 형식이고 기본적으로 200만 개의 삼각형으로 폴리곤 감축(decimation)됩니다. 공개된 버전에서는 이미지 조건부 생성을 위해 4계층 DINOv3 특성을 사용하도록 변경하고, Muon 옵티마이저로 학습하도록 수정되었습니다.

Direct3D-V3는 난징 대학교, DreamTech, 홍콩 대학교 및 옥스퍼드 대학교 팀의 연구 결과로(SIGGRAPH Asia 2026 / ACM TOG), 잠재 공간(latent space)이 없는 확산 트랜스포머(Diffusion Transformer)를 사용하여 원시 SDF 복셀 그리드를 직접 생성하며, 512, 1024, 1536 세 단계의 해상도로 점진적으로 세분화합니다. 11월 19일에 추론 코드와 가중치가 공개되었습니다. 입력은 참조 이미지(추천: 먼저 GPT Image 2.5, Lotus-2 또는 Qwen-Image-2.1를 사용하여 법선 맵(normal map) 또는 텍스처가 제거된 화이트 모델 이미지로 변환)과 방향이 정렬된 거친 메쉬(coarse mesh)이며, 출력은 GLB 형식이고 기본적으로 200만 개의 삼각형으로 폴리곤 감축(decimation)됩니다. 공개된 버전에서는 이미지 조건부 생성을 위해 4계층 DINOv3 특성을 사용하도록 변경하고, Muon 옵티마이저로 학습하도록 수정되었습니다.

왜 중요한가 VAE 압축을 거치지 않고 SDF 복셀을 직접 모델링하며, 저자들은 공개된 버전의 표면 디테일이 논문 평가 버전보다 현저히 더 세밀하다고 주장합니다. MIT 라이선스로 상업적 사용이 가능합니다.

Hugging Face 좋아요 4 · Hugging Face 상승 점수 4 · Hugging Face 다운로드 191

라이선스: 상업적 사용 가능 · ComfyUI: 현재 없음 · VRAM: 약 18 GB 추정

이유

  • 모델 카드에는 Python 호출, 명령줄 배치 처리, Gradio 데모 세 가지 사용법과 함께 예제 이미지 및 거친 메쉬가 제공됩니다.
  • 코드는 MIT 라이선스입니다. 이미지 인코딩에 사용되는 DINOv3와 배경 분할에 사용되는 BiRefNet은 각각 별도의 라이선스를 따릅니다.

사용법

  • Linux + CUDA 13.0: DreamTechAI/Direct3D-V3를 클론하고, 모델 카드에 따라 Python 3.12 환경을 설정한 후 FlashAttention 2 및 두 개의 복셀화 확장 모듈을 설치합니다. 그런 다음 python infer.py --image assets/input\_imgs/6\_normal.png --coarse-mesh assets/coarse\_meshes/6.obj --resolution 1024 --output generated.glb를 실행하거나, python app.py를 실행하여 웹 데모를 엽니다.
  • 거친 메쉬 생성 모델은 아직 공개되지 않았으므로, 먼저 Hunyuan3D-2.1 또는 UltraShape를 사용하여 OBJ / GLB 파일을 생성하고, 참조 이미지와 동일한 방향을 유지하도록 합니다.

리스크

  • 세분화 단계만 포함됩니다: 거친 메쉬 생성, 텍스처 생성 및 학습 코드는 아직 개발 중(할 일 목록에 있음)이므로, 거친 메쉬를 생성하기 위해 다른 모델을 먼저 사용해야 합니다.
  • 모델 카드에 VRAM 요구 사항이 명시되어 있지 않으며, VRAM이 부족할 경우 max\_tokens를 낮추는 것만 권장됩니다(이 경우 디테일이 손실될 수 있음). DINOv3 가중치는 Hugging Face에서 접근 권한을 신청해야 합니다. 현재 ComfyUI 지원은 없습니다.

열기

抱脸 image-to-3d 上升榜

최신 AI 소식 보기