Budget3D-Idol

Budget3D-Idol은 커뮤니티 프로젝트 BudgetAny가 단일 이미지를 3D 가우시안 스플래팅(Gaussian Splatting) 모델인 Idol로 변환하는 Idol을 미세 조정한 것입니다. 추론 시 Idol의 8192개 잠재적 토큰 중 일부(6.25%–100%)만 사용하도록 지정할 수 있으며, 변화가 가장 적은 영역(먼저 빈 공간)은 더 굵은 토큰으로 병합됩니다. 저자는 H100에서 테스트한 결과, 50% 예산일 때 각 객체의 샘플링 시간이 5.67초에서 3.18초로, 피크 VRAM이 9.9GB에서 8.2GB로 감소했다고 보고했습니다. 같은 시리즈의 Budget3D-Idol-Turbo는 5단계의 샘플링만 필요합니다. 이미지 인코더와 가우시안 디코더는 Idol 원본을 그대로 사용하며, 온라인 데모와 커뮤니티 WebUI가 제공됩니다.

Budget3D-Idol은 커뮤니티 프로젝트 BudgetAny가 단일 이미지를 3D 가우시안 스플래팅(Gaussian Splatting) 모델인 Idol로 변환하는 Idol을 미세 조정한 것입니다. 추론 시 Idol의 8192개 잠재적 토큰 중 일부(6.25%–100%)만 사용하도록 지정할 수 있으며, 변화가 가장 적은 영역(먼저 빈 공간)은 더 굵은 토큰으로 병합됩니다. 저자는 H100에서 테스트한 결과, 50% 예산일 때 각 객체의 샘플링 시간이 5.67초에서 3.18초로, 피크 VRAM이 9.9GB에서 8.2GB로 감소했다고 보고했습니다. 같은 시리즈의 Budget3D-Idol-Turbo는 5단계의 샘플링만 필요합니다. 이미지 인코더와 가우시안 디코더는 Idol 원본을 그대로 사용하며, 온라인 데모와 커뮤니티 WebUI가 제공됩니다.

왜 중요한가 동일한 가중치로 필요에 따라 일부 토큰만 계산할 수 있으며, 빈 영역을 먼저 병합하여 예산이 낮을수록 샘플링이 빨라지고 VRAM 사용량이 줄어듭니다. 또한 단계 수가 적은 Turbo 버전도 있습니다.

Hugging Face 좋아요 8 · Hugging Face 상승 점수 8 · Hugging Face 다운로드 23

라이선스: 상업적 사용 가능 · ComfyUI: 없음 · VRAM: 약 2GB 추정

이유

  • Apache-2.0 라이선스; 모델 카드에는 전체적인 속도 및 VRAM 보고서가 포함되어 있으며, 이러한 수치는 본 프로젝트의 자체 테스트 결과이며 논문 결과가 아님을 명시합니다
  • Hugging Face 온라인 데모 공간이 있어 설치 없이도 시도해 볼 수 있습니다

사용법

  • git clone https://github.com/BudgetAny/Budget3D,下载 후 budget3d_idol.safetensors와 config.json을 다운로드하고, python scripts/sample.py --ckpt weights/budget3d_idol.safetensors --image photo.jpg --budget 0.5 --out photo.ply를 실행하세요. --fast 옵션을 추가하면 최적화된 추론을 사용할 수 있습니다

위험 요소

  • 비공식 구현으로, BudgetAny 및 BudgetPix 논문 저자나 Idol 저자와는 관련이 없으며 기술 보고서는 아직 공개되지 않았습니다
  • 실행을 위해 DINOv3와 FLUX.2 VAE를 별도로 다운로드해야 하며, 각각 자체 라이선스를 가지고 있습니다. 현재 ComfyUI 지원은 없습니다

열기

抱脸 image-to-3d 上升榜

최신 AI 소식 보기