Tiêu đề gốc: speridlabs/iris-z
Mô hình tạo sinh do speridlabs tải lên vào ngày 4 tháng 11, được fine-tune từ FLUX.2-dev và FLUX.2-klein-base-9B, cùng một bộ trọng số có thể tạo ảnh từ văn bản, tạo ảnh từ văn bản đồng thời xuất độ sâu, ước lượng độ sâu từ ảnh, và tạo ảnh mới dựa trên bản đồ độ sâu. Có hai phiên bản: Iris-Z-big (32.2B) và Iris-Z-small (9.1B), hỗ trợ độ phân giải 512 và 1024; bài báo khoa học là arXiv 2611.16010.
Tại sao quan trọng Tác giả tuyên bố độ chính xác ước lượng độ sâu vượt qua các mô hình chuyên dụng như MoGe-3, đồng thời vẫn giữ được khả năng tạo ảnh của mô hình gốc, phù hợp cho các quy trình 3D và hậu kỳ yêu cầu bản đồ độ sâu
Điểm tăng 40 · Lượt thích 40 · Lượt tải 0
Lý do
- AbsRel×100 (càng thấp càng tốt) do tác giả cung cấp: theo giao thức 7 bộ dữ liệu của MoGe-3, big đạt trung bình 3.56, small đạt 3.84, MoGe-3 do tác giả chạy lại đạt 3.70; theo giao thức Marigold V2, big đạt 2.92, small đạt 3.11
- Tác giả tuyên bố ước lượng độ sâu từ ảnh trên một GPU H200 sử dụng 4 bước: big ở độ phân giải 512 / 1024 mất khoảng 1.44 / 5.29 giây, small mất khoảng 0.52 / 1.92 giây; khi tạo ảnh từ văn bản với 50 bước, small ở độ phân giải 1024 mất khoảng 38.3 giây
- Đầu ra bao gồm độ sâu tương đối logarit (.npy), bản đồ độ sâu màu và mặt nạ bầu trời; việc vẽ lại dựa trên bản đồ độ sâu hỗ trợ ba định dạng đầu vào: độ sâu, thị sai và màu
Cách sử dụng
- Sau khi git clone speridlabs/iris-z-sdk, chạy uv sync (Python 3.10, PyTorch 2.9.1, CUDA 13.0, driver từ 580 trở lên); trước tiên hãy đồng ý với các điều khoản của FLUX.2-dev trên Hugging Face và chạy hf auth login (cần để tải bộ mã hóa tự động của nó)
- Dòng lệnh: uv run python -m iris_z.sample depth --image photo.jpg (thêm --model small để dùng phiên bản nhỏ); các lệnh con image, rgbd, paint lần lượt là tạo ảnh từ văn bản, tạo ảnh từ văn bản kèm độ sâu, và vẽ lại dựa trên bản đồ độ sâu
- Python: IrisZPipeline.from_pretrained("speridlabs/iris-z", variant="big"); khi chỉ ước lượng độ sâu, thêm load_text_encoder=False để không tải bộ mã hóa văn bản, để tái tạo benchmark hãy dùng seeds=range(10) và lấy trung vị theo từng pixel
Rủi ro
- VRAM: tác giả ghi big chạy đầy đủ tính năng cần khoảng 112 GB, small cần khoảng 33 GB, card đồ họa cá nhân không thể chạy big
- Trọng số tuân theo giấy phép phi thương mại của FLUX, mã SDK là Apache-2.0; cũng cần chấp nhận các điều khoản giới hạn của FLUX.2-dev
- Điểm số độ sâu do tác giả thu thập theo giao thức bài báo, một số mô hình so sánh do tác giả chạy lại; không đề cập đến hỗ trợ ComfyUI. Mục này chưa được chạy thử