原题:speridlabs/iris-z
speridlabs 11 月 4 日上传的生成模型,从 FLUX.2-dev 和 FLUX.2-klein-base-9B 改训,同一套权重能文生图、文生图同时出深度、照片估深度、按深度图生成新图。分 Iris-Z-big(32.2B)和 Iris-Z-small(9.1B)两档,支持 512 和 1024 分辨率;论文为 arXiv 2611.16010。
为什么重要 作者称深度估计精度超过 MoGe-3 等专门模型,又保留了原模型的出图能力,适合需要深度图的三维和后期流程
上升分 40 · 点赞 40 · 下载量 0
理由
- 作者给的 AbsRel×100(越低越好):按 MoGe-3 的 7 个数据集协议,big 平均 3.56、small 3.84,作者复跑的 MoGe-3 为 3.70;按 Marigold V2 协议,big 2.92、small 3.11
- 作者称在一张 H200 上照片估深度用 4 步:big 在 512 / 1024 分辨率约 1.44 / 5.29 秒,small 约 0.52 / 1.92 秒;文生图 50 步时 small 在 1024 约 38.3 秒
- 输出相对对数深度(.npy)、彩色深度图和天空遮罩;按深度图重绘支持深度、视差、彩色三种输入格式
用法
- git clone speridlabs/iris-z-sdk 后 uv sync(Python 3.10、PyTorch 2.9.1、CUDA 13.0,驱动 580 以上);先在抱脸同意 FLUX.2-dev 的条款并 hf auth login(要读它的自编码器)
- 命令行:uv run python -m iris_z.sample depth --image photo.jpg(加 --model small 用小档);image、rgbd、paint 子命令分别是文生图、文生图加深度、按深度图重绘
- Python:IrisZPipeline.from_pretrained("speridlabs/iris-z", variant="big");只估深度时加 load_text_encoder=False 少载文本编码器,复现基准用 seeds=range(10) 取逐像素中位数
风险
- 显存:作者写 big 跑全部功能约 112 GB、small 约 33 GB,个人显卡跑不了 big
- 权重按 FLUX 非商用许可,SDK 代码是 Apache-2.0;还要接受 FLUX.2-dev 的门槛条款
- 深度分数是作者按论文协议所得,部分对比模型为作者复跑;卡里没提 ComfyUI 支持。本条未运行