原题:Open Vision Banana: A Fully Open Recipe for Generative Visual Perception
近来的研究认为图像生成模型学到了对真实世界的理解,Vision Banana 把视觉任务当成“条件图像编辑”来做,但数据、权重、代码都没公开。Open Vision Banana 给出完全开放、可复现的配方:在 FLUX.2 [klein] 4B 和 9B 底模上,用公开数据集的 210 万到 380 万对样本微调,一个模型靠提示词切换语义 / 实例 / 指代分割、深度和表面法线估计,同时基本保留原模型的改图和文生图能力。作者分析了颜色编码、提示词设计、参数适配和任务配比,发现这些选择会相互影响,单独有效的做法组合后可能变差。另提出“图例集成”:用多套类别—颜色对照各分割一次再投票,不重新训练就能提升分割成绩。
为什么重要 复现了只发论文不开源的 Vision Banana 思路,并公开每一步,可以拿自己的生图底模照着做
点赞 29 · 代码星数 14
理由
- 作者称 9B 零样本版在 Cityscapes 上 73.9 mIoU,高于 Vision Banana 报告的 69.9;深度估计与当前最好的仿射不变深度模型相当;图例集成在 Cityscapes 和 COCO-Object 上最多提升 8.7 和 15.0 个点
- 公开内容齐全:数据下载与处理流程、训练和评测脚本、4B / 9B 的零样本与非零样本最终权重、中间检查点、消融模型和 LoRA
- 作者也写明不足:非零样本版在指代和推理分割上离 Vision Banana 不到五个点,实例分割差距更大
用法
- 代码:https://github.com/OpenVisionBanana/OpenVisionBanana;权重:抱脸 FunAILab/Open-Vision-Banana
- 用 diffusers 的 Flux2KleinPipeline 加载 black-forest-labs/FLUX.2-klein-base-9B,把 transformer 换成仓库里对应子目录的权重;提示词以 [TASK: SEMANTIC_SEGMENTATION] 这类任务标签开头并给出类别颜色,各任务提示词见 PROMPTS.md
风险
- 权重派生自 FLUX.2 [klein] Base,按 FLUX 非商业许可发布,不能商用;代码为 Apache-2.0
- Cityscapes 和实例分割成绩用了图例集成(分别跑 20 次和 11 次)和多模态大模型过滤,单次推理成绩会低一些;成绩为作者报告,本条未运行