Budget3D-Idol-Turbo — это дообученная версия модели Idol-turbo от Sperid Labs (модель для преобразования одного изображения в 3D гауссову модель за 5 шагов без использования guidance), выполненная в рамках сообщества проекта BudgetAny. Идея статьи BudgetPix «адаптивная токенизация в зависимости от вычислительных ресурсов» была перенесена из диффузионных моделей для изображений в область 3D: во время вывода параметр --budget определяет долю из 8192 токенов латентного пространства, которые реально участвуют в вычислениях, при этом одни и те же веса подходят для любого бюджета. Авторы утверждают, что на RTX PRO 6000 выборка с бюджетом 50% ускоряется в 1.74 раз, а с бюджетом 10% — в 3.22 раз, однако общее время обработки каждого объекта составляет около 3.2–3.6 секунд, так как декодирование гауссиан и рендеринг не зависят от выбранного бюджета.
Почему это важно Объединение пустых и малоизменяющихся областей в крупные токены в зависимости от бюджета позволяет ускорить выборку при его снижении; авторы предоставили таблицы скорости и потребления видеопамяти для каждого уровня, при этом пиковое потребление при максимальном бюджете составляет около 8 ГБ.
Лайки-обнимашки 4 · Рост рейтинга за лайки-обнимашки 3 · Загрузки с лайками-обнимашками 291
Лицензия: разрешено коммерческое использование · ComfyUI: отсутствует · Видеопамять: ≈2 ГБ (оценка)
Причины
- Лицензия Apache-2.0; доступна онлайн-демонстрация на Hugging Face (версия с 50 шагами) и веб-интерфейс от сообщества
- Примеры в карточке модели отобраны из тестового набора с фиксированным интервалом, а не вручную выбраны
Использование
- Выполните git clone https://github.com/BudgetAny/Budget3D и настройте окружение согласно инструкции, затем выполните hf download BudgetAny/Budget3D-Idol-Turbo budget3d_idol_turbo.safetensors config.json --local-dir weights, после чего запустите python scripts/sample.py --ckpt weights/budget3d_idol_turbo.safetensors --turbo --image photo.jpg --budget 0.5 --out photo.ply
Риски
- Это не официальная реализация из статьи, технический отчет еще не опубликован, все показатели получены авторами самостоятельно
- Для работы также требуются DINOv3 и FLUX.2 VAE, каждый из которых имеет свою лицензию; узел для ComfyUI пока отсутствует