Budget3D-Idol

Budget3D-Idol — это дообученная версия модели Idol (преобразование одного изображения в модель гауссовых сплайнов 3D), выполненная в рамках сообщества проекта BudgetAny. Во время вывода можно указать использование только части из 8192 латентных токенов Idol (от 6.25% до 100%); области с минимальными изменениями (в первую очередь пустые участки) объединяются в более крупные токены. Авторы измерили на H100, что при бюджете 50% время выборки для каждого объекта снижается с 5.67 до 3.18 секунд, а пиковое потребление видеопамяти — с 9.9 до 8.2 ГБ. Версия Budget3D-Idol-Turbo из той же серии требует всего 5 шагов выборки. Кодировщик изображений и декодер гауссовых сплайнов заимствованы из оригинальной версии Idol; доступны онлайн-демо и веб-интерфейс сообщества.

Budget3D-Idol — это дообученная версия модели Idol (преобразование одного изображения в модель гауссовых сплайнов 3D), выполненная в рамках сообщества проекта BudgetAny. Во время вывода можно указать использование только части из 8192 латентных токенов Idol (от 6.25% до 100%); области с минимальными изменениями (в первую очередь пустые участки) объединяются в более крупные токены. Авторы измерили на H100, что при бюджете 50% время выборки для каждого объекта снижается с 5.67 до 3.18 секунд, а пиковое потребление видеопамяти — с 9.9 до 8.2 ГБ. Версия Budget3D-Idol-Turbo из той же серии требует всего 5 шагов выборки. Кодировщик изображений и декодер гауссовых сплайнов заимствованы из оригинальной версии Idol; доступны онлайн-демо и веб-интерфейс сообщества.

Почему это важно Одни и те же веса позволяют по запросу вычислять только часть токенов, сначала объединяя пустые области: чем ниже бюджет, тем быстрее выборка и меньше потребление видеопамяти. Также существует версия Turbo с меньшим числом шагов.

Лайки на Hugging Face 8 · Рост рейтинга на Hugging Face 8 · Загрузки на Hugging Face 23

Лицензия: разрешено коммерческое использование · ComfyUI: отсутствует · Видеопамять: ≈2 ГБ (оценка)

Обоснование

  • Лицензия Apache-2.0; в карточке модели представлены полные отчеты о скорости и потреблении видеопамяти, с указанием, что эти цифры получены в ходе тестирования данного проекта, а не взяты из научной статьи
  • Доступно онлайн-демо на Hugging Face, позволяющее протестировать модель без установки

Использование

  • Выполните git clone https://github.com/BudgetAny/Budget3D,下载, затем запустите python scripts/sample.py --ckpt weights/budget3d_idol.safetensors --image photo.jpg --budget 0.5 --out photo.ply после загрузки файлов budget3d_idol.safetensors и config.json; добавьте флаг --fast для включения оптимизированного вывода

Риски

  • Это неофициальная реализация, не связанная с авторами статей BudgetAny и BudgetPix или с авторами модели Idol; технический отчет еще не опубликован
  • Для работы также требуется загрузить DINOv3 и FLUX.2 VAE, каждый из которых имеет собственную лицензию; поддержка ComfyUI пока отсутствует

Открыть

抱脸 image-to-3d 上升榜

Открыть последние новости ИИ