原題:speridlabs/iris-z
speridlabs が 11 月 4 日にアップロードした生成モデル。FLUX.2-dev と FLUX.2-klein-base-9B からファインチューニングされ、同一の重みでテキストから画像生成、テキストから画像生成と同時に深度出力、写真からの深度推定、深度マップに基づく新規画像生成が可能。Iris-Z-big(32.2B)と Iris-Z-small(9.1B)の2種類があり、512 および 1024 解像度に対応。論文は arXiv 2611.16010。
なぜ重要か 著者によれば、深度推定の精度は MoGe-3 などの専用モデルを上回り、かつ元のモデルの画像生成能力を維持しているため、深度マップを必要とする3Dおよびポストプロダクションワークフローに適している
上昇スコア 40 · いいね 40 · ダウンロード数 0
理由
- 著者が提示した AbsRel×100(低いほど良い):MoGe-3 の 7 データセットプロトコルに基づき、big の平均は 3.56、small は 3.84。著者が再実行した MoGe-3 は 3.70。Marigold V2 プロトコルでは、big が 2.92、small が 3.11
- 著者によれば、1枚の H200 で写真からの深度推定を 4 ステップで実行可能:big は 512 / 1024 解像度で約 1.44 / 5.29 秒、small は約 0.52 / 1.92 秒。テキストから画像生成を 50 ステップで行う場合、small は 1024 解像度で約 38.3 秒
- 出力は相対対数深度(.npy)、カラー深度マップ、スカイマスク。深度マップに基づく再描画は、深度、視差、カラーの3種類の入力形式に対応
使い方
- git clone speridlabs/iris-z-sdk の後、uv sync を実行(Python 3.10、PyTorch 2.9.1、CUDA 13.0、ドライバは 580 以上が必要)。事前に Hugging Face で FLUX.2-dev の利用規約に同意し、hf auth login を実行する必要がある(オートエンコーダの読み取りに必要)
- コマンドライン:uv run python -m iris_z.sample depth --image photo.jpg(small バリアントを使用する場合は --model small を追加)。image、rgbd、paint サブコマンドはそれぞれ、テキストから画像生成、テキストから画像生成+深度出力、深度マップに基づく再描画に対応
- Python:IrisZPipeline.from_pretrained("speridlabs/iris-z", variant="big")。深度推定のみを行う場合は load_text_encoder=False を指定してテキストエンコーダの読み込みを省略可能。ベンチマークの再現には seeds=range(10) を使用し、ピクセル単位の中央値を算出
リスク
- VRAM:著者によれば、big で全機能を実行するには約 112 GB、small で約 33 GB 必要であり、個人用GPUでは big の実行は困難
- 重みは FLUX の非商用ライセンスに従い、SDK コードは Apache-2.0。さらに FLUX.2-dev のゲート付き利用規約への同意が必要
- 深度スコアは著者が論文のプロトコルに基づいて算出したものであり、一部の比較モデルは著者による再実行結果。カードには ComfyUI サポートに関する記載はない。本項目は未実行