Iris-Z: 이미지를 생성하면서 동시에 깊이 맵(depth map)도 생성하는 FLUX.2 파인튜닝 모델

speridlabs가 11월 4일에 업로드한 생성 모델로, FLUX.2-dev 및 FLUX.2-klein-base-9B를 파인튜닝하여 개발되었습니다. 동일한 가중치로 텍스트-이미지 생성, 텍스트-이미지 생성과 동시에 깊이 맵 출력, 사진 기반 깊이 추정, 깊이 맵을 이용한 새로운 이미지 생성이 가능합니다. Iris-Z-big(32.2B)와 Iris-Z-small(9.1B) 두 가지 버전으로 제공되며, 512 및 1024 해상도를 지원합니다. 논문은 arXiv 2611.16010에 게재되었습니다.

원제: speridlabs/iris-z

speridlabs가 11월 4일에 업로드한 생성 모델로, FLUX.2-dev 및 FLUX.2-klein-base-9B를 파인튜닝하여 개발되었습니다. 동일한 가중치로 텍스트-이미지 생성, 텍스트-이미지 생성과 동시에 깊이 맵 출력, 사진 기반 깊이 추정, 깊이 맵을 이용한 새로운 이미지 생성이 가능합니다. Iris-Z-big(32.2B)와 Iris-Z-small(9.1B) 두 가지 버전으로 제공되며, 512 및 1024 해상도를 지원합니다. 논문은 arXiv 2611.16010에 게재되었습니다.

중요성 저자들은 MoGe-3 등 전문 모델보다 깊이 추정 정확도가 높으면서도 원본 모델의 이미지 생성 능력을 유지한다고 주장하며, 이는 깊이 맵이 필요한 3D 및 후반 작업 워크플로우에 적합합니다.

상승 점수 40 · 좋아요 40 · 다운로드 수 0

근거

  • 저자가 제시한 AbsRel×100(낮을수록 좋음): MoGe-3의 7개 데이터셋 프로토콜 기준, big 모델 평균 3.56, small 모델 3.84이며, 저자가 재실행한 MoGe-3는 3.70입니다. Marigold V2 프로토콜 기준으로는 big 모델 2.92, small 모델 3.11입니다.
  • 저자는 단일 H200 GPU에서 사진 기반 깊이 추정을 4단계로 수행한다고 밝혔습니다. big 모델은 512 / 1024 해상도에서 약 1.44 / 5.29초, small 모델은 약 0.52 / 1.92초가 소요됩니다. 텍스트-이미지 생성 시 50단계로 수행하면 small 모델은 1024 해상도에서 약 38.3초가 소요됩니다.
  • 출력 형식은 상대 로그 깊이(.npy), 컬러 깊이 맵, 스카이 마스크(sky mask)입니다. 깊이 맵 기반 재렌더링은 깊이, 시차(parallax), 컬러 세 가지 입력 형식을 지원합니다.

사용법

  • git clone speridlabs/iris-z-sdk 후 uv sync 실행(Python 3.10, PyTorch 2.9.1, CUDA 13.0, 드라이버는 580 이상 필요). 먼저 Hugging Face에서 FLUX.2-dev의 라이선스 조건에 동의하고 hf auth login을 수행해야 합니다(자동 인코더 접근 권한 필요).
  • 명령줄: uv run python -m iris_z.sample depth --image photo.jpg (--model small 옵션으로 small 버전 사용 가능). image, rgbd, paint 하위 명령어는 각각 텍스트-이미지 생성, 텍스트-이미지 생성 및 깊이 맵 출력, 깊이 맵 기반 재렌더링을 수행합니다.
  • Python: IrisZPipeline.from_pretrained("speridlabs/iris-z", variant="big"). 깊이 추정만 수행할 경우 load_text_encoder=False를 추가하여 텍스트 인코더 로딩을 생략할 수 있으며, 벤치마크 재현 시에는 seeds=range(10)로 픽셀별 중위값(median)을 계산합니다.

리스크

  • VRAM: 저자에 따르면 big 모델은 모든 기능 실행 시 약 112 GB, small 모델은 약 33 GB의 VRAM이 필요하므로 개인용 GPU로는 big 모델을 구동하기 어렵습니다.
  • 가중치는 FLUX 비상업적 라이선스를 따르며, SDK 코드는 Apache-2.0 라이선스입니다. 또한 FLUX.2-dev의 게이트웨이 조건을 수용해야 합니다.
  • 깊이 점수는 저자가 논문 프로토콜에 따라 측정한 것이며, 일부 비교 모델은 저자가 재실행한 결과입니다. 카드에는 ComfyUI 지원 여부가 언급되지 않았습니다. 본 항목은 실행되지 않았습니다.

열기

Hugging Face Trending

최신 AI 소식 보기