speridlabs의 단일 이미지 기반 3D 모델 생성기: 물체 이미지(렌더링, 생성 이미지 또는 사진)를 입력하면 배경 제거 및 크롭을 자동 수행하고, 최대 1,048,576개의 3D 가우시안을 생성하며, 이미지에 포함되지 않은 측면까지 복원하여 표준 3DGS .ply 파일로 저장합니다. 10월 31일에 이미 등재된 바 있으며, 이번 재등재는 11월 1일에 Comfy-Org가 ComfyUI 패키지 버전(Comfy-Org/Idol, Kijai 업로드)을 공개했기 때문이며, 모델 자체는 변경되지 않았습니다.
상승 점수 491 · 좋아요 516 · 다운로드 수 10742
이유
- 10월 31일 기준과의 새로운 점: Comfy-Org의 패키지 설명에 따르면 Idol은 TripoSplat의 미세 조정(fine-tuned) 버전으로, 기존 TripoSplat 워크플로우를 그대로 적용할 수 있습니다. 패키지에는 DINOv3 이미지 인코더(bf16), FLUX.2 VAE 및 Idol 디코더가 함께 포함되어 있으며, 지정된 디렉터리에 배치하면 바로 사용할 수 있습니다.
- 공식적으로 H100에서 TripoSplat, TRELLIS, LGM과 비교한 결과: 입력 뷰 SSIM 0.726, LPIPS 0.213, 신규 뷰 DINOv2 0.781, CLIP 0.885 모두 표에서 가장 우수한 성능을 보였습니다. 요청당 처리 시간은 6.8초(TRELLIS 7.1초, TripoSplat 9.9초)입니다.
- 소비자용 GPU에서 실행 가능: 공식적으로 전체 요청 시 약 1.80B 파라미터, 피크 VRAM 7.2GB가 필요하다고 명시했습니다. 50 스텝, 262,144개 가우시안 기준 RTX 4090에서 이미지당 약 19.1초, RTX 3080에서 약 46.2초가 소요됩니다.
사용법
- ComfyUI: Comfy-Org/Idol에서 다운로드하여 idol_fp16.safetensors는 models/diffusion_models에, dino_v3_vit_h_bf16.safetensors는 models/clip_vision에, flux2-vae.safetensors와 idol_decoder_fp16.safetensors는 models/vae에 배치한 후, 기존 TripoSplat 워크플로우를 열고 해당 파일들로 교체합니다.
- 명령줄: 먼저 Hugging Face에서 facebook/dinov3-vith16plus-pretrain-lvd1689m 및 black-forest-labs/FLUX.2-dev의 약관을 수락하고 hf auth login을 실행한 뒤, git clone speridlabs/idol-sdk 및 pip install -e .을 수행하고, python -m idol.sample --image photo.jpg --mode real을 실행합니다(사진은 real, 렌더링 및 생성 이미지는 synthetic 사용).
- 주요 파라미터: --steps 50, --cfg_strength 3.0, --num_gaussians는 32,768부터 1,048,576 사이 값(32의 배수, 기본값 262,144)으로 설정합니다. 결과는 임의의 가우시안 스플래팅 뷰어로 .ply 파일을 열어 확인합니다.
리스크
- 평가는 공식 자체 테스트이며, PSNR 항목은 LGM이 가장 높게 나타났습니다(공식 설명에 따르면 PSNR은 흐릿한 결과를 선호하는 경향이 있음). 본 란에서는 데모 영상을 확인하지 않았습니다.
- Comfy-Org 페이지에는 파일 배치 설명만 있고 Idol 전용 워크플로우는 제공되지 않으므로, 기존 TripoSplat 워크플로우를 직접 수정해야 합니다. 패키지에 포함된 DINOv3 및 FLUX.2 VAE는 각각 자체 라이선스 조건을 따르며, Idol의 Apache-2.0 라이선스를 따르지 않습니다.
- 출력은 가우시안 스플래팅 형식이며 메시(mesh)가 아니므로, 게임 엔진이나 3D 프린팅에 사용하려면 변환이 필요합니다. 또한 단일 물체에만 적용됩니다.