原题:ViRA: Toward Ultra-High-Resolution Visual Agents via Cross-Input Relative Policy Optimization
视觉智能体回答超高分辨率照片的问题时要放大相关区域,但常常凭常识作答;只按最终答案给奖励的强化学习纠正不了,因为猜对和读对拿到的奖励一样。CrossRPO 用“对比集”训练:同一个问题配几张只在一小块证据区域不同、答案也不同的图,只有真正读到证据才能全部答对,奖励按整组发放。作者编辑 21 到 120 百万像素照片里的一个小物体来构造训练集和评测集,另拍了真实变化的照片组排除编辑痕迹。ViRA-9B 和 ViRA-27B 各只用约 3,500 条数据训练;作者称 ViRA-Bench 最高分辨率下整组正确率 63.3%,GRPO 为 59.3%,9B 版是同尺寸开源模型中最准的。
为什么重要 超大照片问答常被模型凭常识猜对;作者称大号版本在多数基准上超过最高思考档的两款闭源模型
点赞 1 · 代码星数 2
理由
- 已放出 ViRA-9B(基于 Qwen3.5-9B)和 ViRA-27B(基于 Qwen3.8-27B),以及评测集 ViRA-Bench、ViRA-Bench-Real 和训练集 ViRA-Train
- 整组全对才算答对,比单张图准确率更能区分读证据和猜答案
- 仓库含基于 verl 的训练代码、论文全部训练和消融的启动脚本以及评测代码
用法
- 代码:https://github.com/huawei-lin/ViRA(Apache-2.0);权重和数据在抱脸 huaweilin 账号的 ViRA 合集
- 用 vLLM 部署 huaweilin/ViRA-9B,再用 python -m vira.infer --image photo.jpg --budget 1 --question "…" 提问;--budget 控制首图和每次放大的像素预算;27B 版单张 80GB 显卡要调高显存占用参数
风险
- 评测集的图片变体由编辑生成,真实拍摄的对比组只有 78 组;开放式答案用 GPT-4o 评判
- 在部分通用基准(如 O3-Bench)上仍低于两款闭源模型
- 成绩为作者报告;本条未运行