Direct3D-V3 là công trình của nhóm từ Đại học Nam Kinh, DreamTech, Đại học Hồng Kông và Oxford (SIGGRAPH Asia 2026 / ACM TOG), sử dụng Transformer khuếch tán không có không gian tiềm ẩn để trực tiếp tạo ra lưới thể tích SDF thô, được tinh chỉnh dần qua ba mức độ phân giải: 512, 1024 và 1536. Mã suy luận và trọng số được phát hành vào ngày 19 tháng 11; đầu vào là một hình ảnh tham chiếu (khuyến nghị sử dụng GPT Image 2.5, Lotus-2 hoặc Qwen-Image-2.1 để tạo bản đồ pháp tuyến hoặc mô hình trắng đã loại bỏ kết cấu) cùng với một mô hình thô đã được căn chỉnh hướng, đầu ra là tệp GLB, mặc định giảm số lượng đa giác xuống còn 200 vạn tam giác. Phiên bản phát hành đã chuyển sang sử dụng đặc trưng DINOv3 bốn lớp làm điều kiện hình ảnh và đổi sang bộ tối ưu hóa Muon để huấn luyện.
Tại sao quan trọng Không thông qua nén VAE, trực tiếp mô hình hóa lưới thể tích SDF, các tác giả cho biết chi tiết bề mặt của phiên bản phát hành rõ ràng tinh tế hơn so với phiên bản đánh giá trong bài báo; giấy phép MIT cho phép sử dụng thương mại.
Lượt thích trên Hugging Face 4 · Điểm tăng trên Hugging Face 4 · Lượt tải trên Hugging Face 191
Giấy phép: Có thể sử dụng thương mại · ComfyUI: Chưa có · VRAM: ≈18 GB (ước tính)
Lý do
- Thẻ mô hình cung cấp ba cách sử dụng: gọi bằng Python, xử lý hàng loạt qua dòng lệnh và demo Gradio, cùng với các hình ảnh mẫu và mô hình thô đi kèm
- Mã nguồn theo giấy phép MIT; DINOv3 dùng để mã hóa hình ảnh và BiRefNet dùng để phân tách nền đều có giấy phép riêng
Cách sử dụng
- Linux + CUDA 13.0: Nhân bản DreamTechAI/Direct3D-V3, thiết lập môi trường Python 3.12 theo thẻ mô hình, cài đặt FlashAttention 2 và hai phần mở rộng thể tích hóa, chạy lệnh python infer.py --image assets/input_imgs/6_normal.png --coarse-mesh assets/coarse_meshes/6.obj --resolution 1024 --output generated.glb, hoặc chạy python app.py để mở demo web
- Mô hình tạo mô hình thô chưa được phát hành, hãy sử dụng Hunyuan3D-2.1 hoặc UltraShape để tạo tệp OBJ / GLB trước, giữ nguyên hướng so với hình ảnh tham chiếu
Rủi ro
- Chỉ bao gồm giai đoạn tinh chỉnh: việc tạo mô hình thô, tạo kết cấu và mã huấn luyện vẫn đang trong danh sách chờ, cần sử dụng mô hình của bên thứ ba để tạo mô hình thô trước
- Thẻ mô hình không ghi rõ yêu cầu VRAM, chỉ khuyến nghị giảm max_tokens khi hết VRAM (sẽ làm mất chi tiết); cần đăng ký truy cập trọng số DINOv3 trên Hugging Face; chưa hỗ trợ ComfyUI