Open Vision Banana:画像生成モデルをセグメンテーションおよび深度推定モデルに変換するオープンレシピ

最近の研究では、画像生成モデルが現実世界に対する理解を学習していると考えられています。Vision Banana は視覚タスクを「条件付き画像編集」として扱いますが、データ、重み、コードは公開されていませんでした。Open Vision Banana は、完全にオープンで再現可能なレシピを提供します。FLUX.2 [klein] 4B および 9B のベースモデル上で、公開データセットの 210 万から 380 万ペアのサンプルを用いてファインチューニングを行い、一つのモデルがプロンプトによってセマンティック/インスタンス/リファレンスセグメンテーション、深度推定、表面法線推定を切り替えられるようにしました。同時に、元のモデルの画像編集およびテキストから画像生成(文生図)能力をほぼ維持しています。著者らは色エンコーディング、プロンプト設計、パラメータ適応、タスク配分について分析し、これらの選択が相互に影響し合うことを発見しました。単独では有効な手法でも、組み合わせると性能が低下する可能性があります。また、「レジェンドアンサンブル」を提案しています。これは複数のカテゴリ—色対応表を用いてそれぞれセグメンテーションを実行し、投票によって結果を統合する方法で、再学習なしにセグメンテーション精度を向上させることができます。

原题:Open Vision Banana: A Fully Open Recipe for Generative Visual Perception

最近の研究では、画像生成モデルが現実世界に対する理解を学習していると考えられています。Vision Banana は視覚タスクを「条件付き画像編集」として扱いますが、データ、重み、コードは公開されていませんでした。Open Vision Banana は、完全にオープンで再現可能なレシピを提供します。FLUX.2 [klein] 4B および 9B のベースモデル上で、公開データセットの 210 万から 380 万ペアのサンプルを用いてファインチューニングを行い、一つのモデルがプロンプトによってセマンティック/インスタンス/リファレンスセグメンテーション、深度推定、表面法線推定を切り替えられるようにしました。同時に、元のモデルの画像編集およびテキストから画像生成(文生図)能力をほぼ維持しています。著者らは色エンコーディング、プロンプト設計、パラメータ適応、タスク配分について分析し、これらの選択が相互に影響し合うことを発見しました。単独では有効な手法でも、組み合わせると性能が低下する可能性があります。また、「レジェンドアンサンブル」を提案しています。これは複数のカテゴリ—色対応表を用いてそれぞれセグメンテーションを実行し、投票によって結果を統合する方法で、再学習なしにセグメンテーション精度を向上させることができます。

なぜ重要か 論文のみ公開されソースコードが非公開だった Vision Banana のアプローチを再現し、すべてのステップを公開しているため、自身の画像生成ベースモデルを用いて同様の手法を実践できる

いいね 29 · コードスター数 14

理由

  • 著者によると、9B のゼロショット版は Cityscapes で mIoU 73.9 を達成し、Vision Banana が報告した 69.9 よりも高くなっています。深度推定は、現在の最先端のアフィン不変深度モデルと同等の性能です。レジェンドアンサンブルにより、Cityscapes と COCO-Object でそれぞれ最大 8.7 ポイントおよび 15.0 ポイントの向上が確認されています
  • 公開内容は充実しています:データのダウンロードおよび前処理パイプライン、学習・評価スクリプト、4B / 9B のゼロショットおよび非ゼロショット最終重み、中間チェックポイント、アブレーションモデル、LoRA が含まれます
  • 著者は限界についても明記しています:非ゼロショット版はリファレンスセグメンテーションと推論セグメンテーションにおいて Vision Banana との差が5ポイント未満ですが、インスタンスセグメンテーションではその差がより大きくなります

使い方

  • コード:https://github.com/OpenVisionBanana/OpenVisionBanana;权重:抱脸 FunAILab/Open-Vision-Banana
  • diffusers の Flux2KleinPipeline を使用して black-forest-labs/FLUX.2-klein-base-9B を読み込み、transformer をリポジトリ内の対応するサブディレクトリの重みに置き換えます。プロンプトは [TASK: SEMANTIC_SEGMENTATION] のようなタスクタグで始まり、カテゴリと色を指定します。各タスクのプロンプトについては PROMPTS.md を参照してください

リスク

  • 重みは FLUX.2 [klein] Base に由来し、FLUX の非商用ライセンスに基づいて公開されているため、商用利用はできません。コードは Apache-2.0 です
  • Cityscapes およびインスタンスセグメンテーションのスコアには、レジェンドアンサンブル(それぞれ 20 回および 11 回実行)とマルチモーダル大規模モデルによるフィルタリングが使用されています。単一推論時のスコアはこれより低くなります。報告されたスコアは著者によるものであり、本記事では検証を行っていません

開く · コード · Hugging Face ページ

Hugging Face Daily Papers

最新の AI ニュースを見る