Оригинальное название: JoVox: Joint Hierarchical Flow Matching for Lightweight Voxel Generation
Иерархическая генерация вокселей сначала определяет грубые уровни, которые задают, где могут появляться детали, но грубые уровни обладают наименьшим количеством информации и после фиксации не изменяются, что часто приводит к результатам, которые «выглядят правдоподобно, но ошибочны». JoVox использует дискретное согласование потоков для обучения совместного распределения всех уровней воксельной иерархии, позволяя тонким уровням влиять на определение грубых; предсказание за один шаг ячеек, охватывающих два тонких уровня, сокращает вдвое количество уровней, обрабатываемых сетью; затем применяется стратегия раскрытия маски, которая после генерации тонких уровней позволяет скорректировать ранние решения. Авторы утверждают, что по сравнению с TRELLIS.2 на той же базовой архитектуре пропускная способность обучения повышена в 8 раз, объем вычислений за один прямой проход составляет 1/15 от исходного, обучение требует всего 4 GPU вместо 32, а расстояние Chamfer ниже на 11%.
Почему это важно Этап генерации структуры из изображения в 3D позволяет достичь более высокой точности при меньших вычислительных затратах, что подходит для команд с ограниченными вычислительными ресурсами, занимающихся обучением и доработкой моделей
Лайков: 3 · Звезд на GitHub: 43
Причины
- Этап генерации структуры из изображения в 3D можно заменить отдельно: репозиторий предоставляет генератор вокселей 64³ с условием по изображению, а этап сетки выполняется вторым этапом TRELLIS.2
- Код для обучения, сэмплирования и оценки полностью доступен, код и веса распространяются под лицензией Apache-2.0
Использование
- Код: https://github.com/yuyujunjun/JoVox;权重:抱脸 xiangjuntang/JoVox-64
- После настройки окружения используйте scripts/img2mesh.py для преобразования изображений в сетки в три этапа: prep → voxel → mesh; в папке assets/examples находятся восемь примеров изображений
Риски
- Много зависимостей: требуется компиляция нескольких расширений CUDA, а также загрузка DINOv3, RMBG-2.0 (требуется запрос доступа на Hugging Face) и TRELLIS.2-4B
- В настоящее время доступна только модель с разрешением 64³, авторы тестировали её только на A100
- Сравнение точности выполнено на 1000 объектах из набора Toys4k; в данном обзоре тесты не запускались