Budget3D-Idol-Turbo

Budget3D-Idol-Turbo는 커뮤니티 프로젝트 BudgetAny가 Sperid Labs의 Idol-turbo(5 단계, 가이드 프리 단일 이미지에서 3D 가우시안 모델로 변환)를 미세 조정한 것으로, BudgetPix 논문의 '연산량에 따른 적응형 토큰화' 개념을 이미지 확산 모델에서 3D로 확장한 것입니다. 추론 시 --budget을 사용하여 8192개의 잠재 변수 토큰 중 실제로 연산에 참여하는 비율을 선택하며, 동일한 가중치로 모든 예산 수준에 적응합니다. 저자는 RTX PRO 6000에서 50% 예산 샘플링이 1.74배, 10% 예산 샘플링이 3.22배 빨라진다고 주장하지만, 가우시안 디코딩과 렌더링은 예산의 영향을 받지 않으므로 각 객체의 엔드투엔드 처리 시간은 3.2~3.6초 수준으로 유지됩니다.

Budget3D-Idol-Turbo는 커뮤니티 프로젝트 BudgetAny가 Sperid Labs의 Idol-turbo(5 단계, 가이드 프리 단일 이미지에서 3D 가우시안 모델로 변환)를 미세 조정한 것으로, BudgetPix 논문의 '연산량에 따른 적응형 토큰화' 개념을 이미지 확산 모델에서 3D로 확장한 것입니다. 추론 시 --budget을 사용하여 8192개의 잠재 변수 토큰 중 실제로 연산에 참여하는 비율을 선택하며, 동일한 가중치로 모든 예산 수준에 적응합니다. 저자는 RTX PRO 6000에서 50% 예산 샘플링이 1.74배, 10% 예산 샘플링이 3.22배 빨라진다고 주장하지만, 가우시안 디코딩과 렌더링은 예산의 영향을 받지 않으므로 각 객체의 엔드투엔드 처리 시간은 3.2~3.6초 수준으로 유지됩니다.

왜 중요한가 예산에 따라 빈 공간과 변화가 적은 영역을 거친 토큰으로 통합하여, 예산이 낮을수록 샘플링 속도가 빨라집니다. 저자는 각 예산 단계별 속도와 VRAM 사용량 표를 제공하며, 최대 예산 시 피크 VRAM 사용량은 약 8 GB입니다.

Hugging Face 좋아요 4 · Hugging Face 상승 점수 3 · Hugging Face 다운로드 291

라이선스: 상업적 사용 가능 · ComfyUI: 없음 · VRAM: 약 2 GB 추정

이유

  • Apache-2.0 라이선스; Hugging Face 온라인 데모(50 단계 버전) 및 커뮤니티 WebUI 제공
  • 모델 카드의 예시는 테스트셋에서 고정 간격으로 선택된 것이며, 선별된 것이 아닙니다.

사용법

  • git clone https://github.com/BudgetAny/Budget3D 후 해당 지침에 따라 환경을 설정하고, hf download BudgetAny/Budget3D-Idol-Turbo budget3d_idol_turbo.safetensors config.json --local-dir weights를 실행한 뒤, python scripts/sample.py --ckpt weights/budget3d_idol_turbo.safetensors --turbo --image photo.jpg --budget 0.5 --out photo.ply를 실행합니다.

리스크

  • 공식 논문 구현체가 아니며, 기술 보고서는 아직 발표되지 않았고 모든 수치는 저자의 자체 테스트 결과입니다.
  • 실행을 위해 DINOv3 및 FLUX.2 VAE가 필요하며, 이들은 각각 별도의 라이선스를 가지고 있습니다. ComfyUI 노드는 아직 없습니다.

열기

抱脸 image-to-3d 上升榜

최신 AI 소식 보기