원제: Open Vision Banana: A Fully Open Recipe for Generative Visual Perception
최근 연구들은 이미지 생성 모델이 실제 세계에 대한 이해를 학습했다고 주장합니다. Vision Banana는 시각 작업을 '조건부 이미지 편집'으로 처리하지만, 데이터, 가중치, 코드가 모두 비공개였습니다. Open Vision Banana는 완전히 오픈되고 재현 가능한 레시피를 제공합니다: FLUX.2 [klein] 4B 및 9B 기반 모델에서 공개 데이터셋의 210만에서 380만 쌍의 샘플로 미세 조정하여, 하나의 모델이 프롬프트를 통해 의미/인스턴스/지시적 분할, 깊이 및 표면 법선 추정을 전환할 수 있으며, 동시에 원본 모델의 이미지 편집 및 텍스트-이미지 생성 능력을 기본적으로 유지합니다. 저자들은 색상 인코딩, 프롬프트 설계, 파라미터 적응 및 작업 배분을 분석하여 이러한 선택들이 서로 영향을 미치며, 개별적으로 효과적인 방법들이 조합될 경우 성능이 저하될 수 있음을 발견했습니다. 또한 '범례 앙상블'을 제안합니다: 여러 세트의 범주-색상 매핑으로 각각 분할한 후 투표를 수행하여, 재학습 없이 분할 성능을 향상시킵니다.
왜 중요한가 비공개로 논문만 발표된 Vision Banana의 접근 방식을 재현하고 모든 단계를 공개하여, 자신의 이미지 생성 기반 모델로 이를 따라 할 수 있습니다
좋아요 29 · 코드 스타 수 14
이유
- 저자들은 9B 제로샷 버전이 Cityscapes에서 73.9 mIoU를 달성하여 Vision Banana가 보고한 69.9보다 높다고 주장합니다. 깊이 추정은 현재 최고의 아핀 불변 깊이 모델과 동등한 성능을 보이며, 범례 앙상블은 Cityscapes와 COCO-Object에서 최대 8.7 및 15.0 포인트의 성능 향상을 가져옵니다
- 공개된 내용이 완전합니다: 데이터 다운로드 및 처리 파이프라인, 학습 및 평가 스크립트, 4B / 9B의 제로샷 및 비제로샷 최종 가중치, 중간 체크포인트, 어블레이션 모델 및 LoRA
- 저자들은 한계점도 명시했습니다: 비제로샷 버전은 지시적 및 추론 분할에서 Vision Banana와 5포인트 이내의 차이를 보이지만, 인스턴스 분할에서는 더 큰 격차가 있습니다
사용법
- 코드: https://github.com/OpenVisionBanana/OpenVisionBanana;权重:抱脸 FunAILab/Open-Vision-Banana
- diffusers의 Flux2KleinPipeline을 사용하여 black-forest-labs/FLUX.2-klein-base-9B를 로드하고, transformer를 저장소 내 해당 하위 디렉터리의 가중치로 교체합니다. 프롬프트는 [TASK: SEMANTIC_SEGMENTATION]와 같은 작업 태그로 시작하며 범주 색상을 지정합니다. 각 작업의 프롬프트는 PROMPTS.md를 참조하세요
리스크
- 가중치는 FLUX.2 [klein] Base에서 파생되었으며, FLUX 비상업적 라이선스에 따라 배포되므로 상업적 사용이 불가능합니다. 코드는 Apache-2.0 라이선스를 따릅니다
- Cityscapes 및 인스턴스 분할 점수는 범례 앙상블(각각 20회 및 11회 실행)과 멀티모달 대형 모델 필터링을 사용했습니다. 단일 추론 점수는 더 낮을 수 있습니다. 점수는 저자들이 보고한 것이며, 본 항목에서는 실행하지 않았습니다