Modèle de speridlabs pour la conversion d'une image unique en modèle 3D : fournissez une image d'objet (rendu, image générée ou photo), le système supprime automatiquement l'arrière-plan, recadre l'image, génère jusqu'à 1,048,576 splats gaussiens 3D, complète les côtés non visibles dans l'image et enregistre le résultat dans un fichier standard 3DGS .ply. Déjà inclus le 31 10 ; cette réinclusion est due à la publication par Comfy-Org, le 1 11, d'un pack ComfyUI (Comfy-Org/Idol, téléversé par Kijai), le modèle lui-même n'ayant pas changé.
Score de progression 491 · J'aime 516 · Téléchargements 10742
Raisons
- Nouveautés par rapport à l'inclusion du 31 10 : la documentation du pack Comfy-Org indique qu'Idol est une version fine-tunée de TripoSplat, permettant d'utiliser directement les workflows TripoSplat existants ; le pack inclut l'encodeur d'images DINOv3 (bf16), le VAE FLUX.2 et le décodeur Idol, prêts à l'emploi une fois placés dans les répertoires appropriés.
- Comparaison officielle sur H100 avec TripoSplat, TRELLIS et LGM : SSIM de la vue d'entrée 0.726, LPIPS 0.213, DINOv2 0.781 et CLIP 0.885 pour les nouvelles vues, tous étant les meilleurs du tableau ; temps de réponse par requête 6.8 secondes (TRELLIS 7.1 secondes, TripoSplat 9.9 secondes).
- Fonctionne sur des cartes graphiques grand public : officiellement, la requête complète utilise environ 1.80B de paramètres et un pic de mémoire vidéo de 7.2 Go ; avec 50 étapes et 262,144 splats gaussiens, une RTX 4090 prend environ 19.1 secondes par image, et une RTX 3080 environ 46.2 secondes.
Utilisation
- ComfyUI : téléchargez depuis Comfy-Org/Idol, placez idol_fp16.safetensors dans models/diffusion_models, dino_v3_vit_h_bf16.safetensors dans models/clip_vision, flux2-vae.safetensors et idol_decoder_fp16.safetensors dans models/vae, puis ouvrez un workflow TripoSplat existant en remplaçant ces fichiers.
- Ligne de commande : acceptez d'abord les conditions d'utilisation de facebook/dinov3-vith16plus-pretrain-lvd1689m et de black-forest-labs/FLUX.2-dev sur Hugging Face et exécutez hf auth login, puis git clone speridlabs/idol-sdk, pip install -e ., et lancez python -m idol.sample --image photo.jpg --mode real (utilisez real pour les photos, synthetic pour les rendus et les images générées).
- Paramètres courants : --steps 50, --cfg_strength 3.0, --num_gaussians entre 32,768 et 1,048,576 (multiples de 32, valeur par défaut 262,144) ; ouvrez le fichier .ply avec n'importe quel visualiseur de splats gaussiens.
Risques
- Les évaluations sont auto-déclarées par les développeurs ; LGM obtient le meilleur score PSNR (les développeurs expliquent que le PSNR favorise les résultats flous) ; cette rubrique n'a pas visionné de vidéos de démonstration.
- La page Comfy-Org ne fournit que des instructions de placement des fichiers, sans workflow dédié à Idol ; vous devez adapter vous-même un workflow TripoSplat ; les composants DINOv3 et VAE FLUX.2 inclus dans le pack ont leurs propres conditions de licence, distinctes de la licence Apache-2.0 d'Idol.
- La sortie est un splat gaussien, pas un maillage ; une conversion est nécessaire pour l'intégrer dans un moteur de jeu ou pour l'impression 3D ; le modèle ne traite qu'un seul objet à la fois.