Budget3D-Idol-Turbo

Budget3D-Idol-Turbo — это дообученная версия модели Idol-turbo от Sperid Labs (модель для преобразования одного изображения в 3D гауссову модель за 5 шагов без использования guidance), выполненная в рамках сообщества проекта BudgetAny. Идея статьи BudgetPix «адаптивная токенизация в зависимости от вычислительных ресурсов» была перенесена из диффузионных моделей для изображений в область 3D: во время вывода параметр --budget определяет долю из 8192 токенов латентного пространства, которые реально участвуют в вычислениях, при этом одни и те же веса подходят для любого бюджета. Авторы утверждают, что на RTX PRO 6000 выборка с бюджетом 50% ускоряется в 1.74 раз, а с бюджетом 10% — в 3.22 раз, однако общее время обработки каждого объекта составляет около 3.2–3.6 секунд, так как декодирование гауссиан и рендеринг не зависят от выбранного бюджета.

Budget3D-Idol-Turbo — это дообученная версия модели Idol-turbo от Sperid Labs (модель для преобразования одного изображения в 3D гауссову модель за 5 шагов без использования guidance), выполненная в рамках сообщества проекта BudgetAny. Идея статьи BudgetPix «адаптивная токенизация в зависимости от вычислительных ресурсов» была перенесена из диффузионных моделей для изображений в область 3D: во время вывода параметр --budget определяет долю из 8192 токенов латентного пространства, которые реально участвуют в вычислениях, при этом одни и те же веса подходят для любого бюджета. Авторы утверждают, что на RTX PRO 6000 выборка с бюджетом 50% ускоряется в 1.74 раз, а с бюджетом 10% — в 3.22 раз, однако общее время обработки каждого объекта составляет около 3.2–3.6 секунд, так как декодирование гауссиан и рендеринг не зависят от выбранного бюджета.

Почему это важно Объединение пустых и малоизменяющихся областей в крупные токены в зависимости от бюджета позволяет ускорить выборку при его снижении; авторы предоставили таблицы скорости и потребления видеопамяти для каждого уровня, при этом пиковое потребление при максимальном бюджете составляет около 8 ГБ.

Лайки-обнимашки 4 · Рост рейтинга за лайки-обнимашки 3 · Загрузки с лайками-обнимашками 291

Лицензия: разрешено коммерческое использование · ComfyUI: отсутствует · Видеопамять: ≈2 ГБ (оценка)

Причины

  • Лицензия Apache-2.0; доступна онлайн-демонстрация на Hugging Face (версия с 50 шагами) и веб-интерфейс от сообщества
  • Примеры в карточке модели отобраны из тестового набора с фиксированным интервалом, а не вручную выбраны

Использование

  • Выполните git clone https://github.com/BudgetAny/Budget3D и настройте окружение согласно инструкции, затем выполните hf download BudgetAny/Budget3D-Idol-Turbo budget3d_idol_turbo.safetensors config.json --local-dir weights, после чего запустите python scripts/sample.py --ckpt weights/budget3d_idol_turbo.safetensors --turbo --image photo.jpg --budget 0.5 --out photo.ply

Риски

  • Это не официальная реализация из статьи, технический отчет еще не опубликован, все показатели получены авторами самостоятельно
  • Для работы также требуются DINOv3 и FLUX.2 VAE, каждый из которых имеет свою лицензию; узел для ComfyUI пока отсутствует

Открыть

抱脸 image-to-3d 上升榜

Открыть последние новости ИИ