Direct3D-V3

Direct3D-V3 — это работа команды из Нанкинского университета, DreamTech, Гонконгского университета и Оксфордского университета (SIGGRAPH Asia 2026 / ACM TOG). В ней используется диффузионный трансформер без латентного пространства для прямой генерации сырых воксельных сеток SDF, с последовательным уточнением на трёх уровнях разрешения: 512, 1024 и 1536. 11 19 были опубликованы код для инференса и веса модели. На вход подаётся одно референсное изображение (рекомендуется предварительно преобразовать его в карту нормалей или текстурированную белую модель с помощью GPT Image 2.5, Lotus-2 или Qwen-Image-2.1) и грубая модель с выровненной ориентацией. На выходе получается файл GLB, который по умолчанию упрощается до 200 тысяч треугольников. В релизной версии для условий по изображению используются признаки четырёх слоёв DINOv3, а обучение выполняется с оптимизатором Muon.

Direct3D-V3 — это работа команды из Нанкинского университета, DreamTech, Гонконгского университета и Оксфордского университета (SIGGRAPH Asia 2026 / ACM TOG). В ней используется диффузионный трансформер без латентного пространства для прямой генерации сырых воксельных сеток SDF, с последовательным уточнением на трёх уровнях разрешения: 512, 1024 и 1536. 11 19 были опубликованы код для инференса и веса модели. На вход подаётся одно референсное изображение (рекомендуется предварительно преобразовать его в карту нормалей или текстурированную белую модель с помощью GPT Image 2.5, Lotus-2 или Qwen-Image-2.1) и грубая модель с выровненной ориентацией. На выходе получается файл GLB, который по умолчанию упрощается до 200 тысяч треугольников. В релизной версии для условий по изображению используются признаки четырёх слоёв DINOv3, а обучение выполняется с оптимизатором Muon.

Почему это важно Моделирование вокселей SDF выполняется напрямую, без сжатия через VAE. Авторы утверждают, что в релизной версии детали поверхности заметно лучше, чем в версии, оценённой в статье. Лицензия MIT допускает коммерческое использование.

Лайки с обнимашками 4 · Рост рейтинга с обнимашками 4 · Загрузки с обнимашками 191

Лицензия: коммерческое использование разрешено · ComfyUI: пока нет · Память GPU: ≈18 ГБ (оценка)

Причины

  • В карточке модели приведены три способа использования: вызов через Python, пакетная обработка через командную строку и демонстрация в Gradio, а также примеры изображений и грубых моделей
  • Код распространяется под лицензией MIT; для кодирования изображений используется DINOv3, а для сегментации фона — BiRefNet, каждый из которых имеет собственную лицензию

Использование

  • Linux + CUDA 13.0: клонируйте репозиторий DreamTechAI/Direct3D-V3, создайте окружение Python 3.12 согласно карточке модели, установите FlashAttention 2 и два расширения для вокселизации, затем выполните python infer.py --image assets/input_imgs/6_normal.png --coarse-mesh assets/coarse_meshes/6.obj --resolution 1024 --output generated.glb, либо запустите python app.py для открытия веб-демонстрации
  • Модель для генерации грубых моделей ещё не выпущена; для начала используйте Hunyuan3D-2.1 или UltraShape для получения файла OBJ / GLB, сохраняя ту же ориентацию, что и на референсном изображении

Риски

  • Реализован только этап уточнения: генерация грубых моделей, генерация текстур и код для обучения всё ещё находятся в планах, поэтому для получения грубой модели необходимо использовать сторонние модели
  • В карточке модели не указан объём требуемой памяти GPU; рекомендуется лишь уменьшать параметр max_tokens при нехватке памяти (что приводит к потере деталей); доступ к весам DINOv3 нужно запрашивать на платформе с обнимашками; поддержка ComfyUI пока отсутствует

Открыть

抱脸 image-to-3d 上升榜

Открыть последние новости ИИ