ViRA:会放大看细节的超高分辨率视觉智能体

视觉智能体回答超高分辨率照片的问题时要放大相关区域,但常常凭常识作答;只按最终答案给奖励的强化学习纠正不了,因为猜对和读对拿到的奖励一样。CrossRPO 用“对比集”训练:同一个问题配几张只在一小块证据区域不同、答案也不同的图,只有真正读到证据才能全部答对,奖励按整组发放。作者编辑 21 到 120 百万像素照片里的一个小物体来构造训练集和评测集,另拍了真实变化的照片组排除编辑痕迹。ViRA-9B 和 ViRA-27B 各只用约 3,500 条数据训练;作者称 ViRA-Bench 最高分辨率下整组正确率 63.3%,GRPO 为 59.3%,9B 版是同尺寸开源模型中最准的。

原题:ViRA: Toward Ultra-High-Resolution Visual Agents via Cross-Input Relative Policy Optimization

视觉智能体回答超高分辨率照片的问题时要放大相关区域,但常常凭常识作答;只按最终答案给奖励的强化学习纠正不了,因为猜对和读对拿到的奖励一样。CrossRPO 用“对比集”训练:同一个问题配几张只在一小块证据区域不同、答案也不同的图,只有真正读到证据才能全部答对,奖励按整组发放。作者编辑 21 到 120 百万像素照片里的一个小物体来构造训练集和评测集,另拍了真实变化的照片组排除编辑痕迹。ViRA-9B 和 ViRA-27B 各只用约 3,500 条数据训练;作者称 ViRA-Bench 最高分辨率下整组正确率 63.3%,GRPO 为 59.3%,9B 版是同尺寸开源模型中最准的。

为什么重要 超大照片问答常被模型凭常识猜对;作者称大号版本在多数基准上超过最高思考档的两款闭源模型

点赞 1 · 代码星数 2

理由

  • 已放出 ViRA-9B(基于 Qwen3.5-9B)和 ViRA-27B(基于 Qwen3.8-27B),以及评测集 ViRA-Bench、ViRA-Bench-Real 和训练集 ViRA-Train
  • 整组全对才算答对,比单张图准确率更能区分读证据和猜答案
  • 仓库含基于 verl 的训练代码、论文全部训练和消融的启动脚本以及评测代码

用法

  • 代码:https://github.com/huawei-lin/ViRA(Apache-2.0);权重和数据在抱脸 huaweilin 账号的 ViRA 合集
  • 用 vLLM 部署 huaweilin/ViRA-9B,再用 python -m vira.infer --image photo.jpg --budget 1 --question "…" 提问;--budget 控制首图和每次放大的像素预算;27B 版单张 80GB 显卡要调高显存占用参数

风险

  • 评测集的图片变体由编辑生成,真实拍摄的对比组只有 78 组;开放式答案用 GPT-4o 评判
  • 在部分通用基准(如 O3-Bench)上仍低于两款闭源模型
  • 成绩为作者报告;本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态