Модель speridlabs для преобразования одного изображения в 3D: предоставьте одно изображение объекта (рендер, сгенерированное изображение или фото), и система автоматически удалит фон, выполнит обрезку, сгенерирует до 1,048,576 3D-гауссиан, достроит боковые стороны, не попавшие в кадр, и сохранит результат в стандартный 3DGS .ply файл. 10 31 уже было включено в каталог; повторное включение связано с тем, что 11 1 Comfy-Org выпустил упакованную версию для ComfyUI (Comfy-Org/Idol, загружено Kijai), при этом сама модель не изменилась.
Рост рейтинга на 491 · лайков 516 · загрузок 10742
Причины
- Новое по сравнению с версией от 10 31: в описании сборки от Comfy-Org указано, что Idol является дообученной версией TripoSplat, к которой можно напрямую применять существующие рабочие процессы TripoSplat; в сборку также включены визуальный энкодер DINOv3 (bf16), VAE FLUX.2 и декодер Idol — достаточно разместить файлы в соответствующих папках, и всё готово к работе.
- Официальное сравнение на H100 с TripoSplat, TRELLIS и LGM: по входным ракурсам SSIM 0.726, LPIPS 0.213, по новым ракурсам DINOv2 0.781, CLIP 0.885 — лучшие показатели в таблице; время обработки одного запроса составляет 6.8 секунд (TRELLIS — 7.1 секунд, TripoSplat — 9.9 секунд).
- Работает на потребительских видеокартах: по официальным данным, полный запрос использует около 1.80B параметров и требует пикового объема видеопамяти 7.2 ГБ; при 50 шагах и 262,144 гауссах время обработки на RTX 4090 составляет примерно 19.1 секунд, на RTX 3080 — около 46.2 секунд.
Использование
- ComfyUI: загрузите файлы из Comfy-Org/Idol, поместите idol_fp16.safetensors в models/diffusion_models, dino_v3_vit_h_bf16.safetensors в models/clip_vision, а flux2-vae.safetensors и idol_decoder_fp16.safetensors в models/vae, затем откройте существующий рабочий процесс TripoSplat и замените эти файлы.
- Командная строка: сначала примите условия использования facebook/dinov3-vith16plus-pretrain-lvd1689m и black-forest-labs/FLUX.2-dev на Hugging Face и выполните hf auth login, затем выполните git clone speridlabs/idol-sdk, pip install -e . и запустите python -m idol.sample --image photo.jpg --mode real (используйте real для фотографий, synthetic для рендеров и сгенерированных изображений).
- Основные параметры: --steps 50, --cfg_strength 3.0, --num_gaussians от 32,768 до 1,048,576 (кратное 32, по умолчанию 262,144); открывайте результат в любом просмотрщике гауссовых сплатов, используя файл .ply.
Риски
- Оценка выполнена разработчиками самостоятельно; по метрике PSNR наивысший результат у LGM (официальное объяснение: PSNR благоприятствует размытым результатам); в данном разделе демонстрационные видео не просматривались.
- На странице Comfy-Org приведены только инструкции по размещению файлов, без прилагаемого рабочего процесса специально для Idol; необходимо самостоятельно адаптировать рабочий процесс TripoSplat. Модели DINOv3 и VAE FLUX.2, включенные в пакет, имеют собственные условия лицензии и не подчиняются лицензии Apache-2.0 для Idol.
- Выходные данные представляют собой гауссово сплэшинг, а не сетку; для импорта в игровой движок или для 3D-печати требуется конвертация. Решение предназначено только для одиночных объектов.