Reframe:教视觉智能体真正用上工具返回的画面

视觉智能体调用工具时常有两个问题:拿到工具返回的画面却没用上;工具动作本身没对准,后续蒸馏也学不到东西。Reframe 基于 Qwen3.5-9B:第一阶段 GD-GRPO 分别训练图像和视频专家,用定位奖励监督工具动作,并在调用工具后随机去掉原始画面,逼模型依据返回的观察作答;第二阶段 OG-MOPD 把专家合并进一个学生模型,遇到不合格的工具动作就换成标准动作再继续蒸馏。两阶段都不需要任务专用的 SFT 冷启动。作者称在 14 个图像和视频基准上都超过 Mix-RL 和普通多教师蒸馏,图像平均分从基座的 63.46 提到 69.48。

原题:Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for Agentic Visual Reasoning

视觉智能体调用工具时常有两个问题:拿到工具返回的画面却没用上;工具动作本身没对准,后续蒸馏也学不到东西。Reframe 基于 Qwen3.5-9B:第一阶段 GD-GRPO 分别训练图像和视频专家,用定位奖励监督工具动作,并在调用工具后随机去掉原始画面,逼模型依据返回的观察作答;第二阶段 OG-MOPD 把专家合并进一个学生模型,遇到不合格的工具动作就换成标准动作再继续蒸馏。两阶段都不需要任务专用的 SFT 冷启动。作者称在 14 个图像和视频基准上都超过 Mix-RL 和普通多教师蒸馏,图像平均分从基座的 63.46 提到 69.48。

为什么重要 看高分辨率图、长视频常要放大或截片段;它让模型不只会调工具,还会用返回结果,权重和数据都已开放

点赞 38 · 代码星数 31

理由

  • 面向高分辨率图像和长视频问答这类要“放大细节、找片段”的任务
  • 推理时只用两个工具,不需要专家教师和定位标注
  • 代码、9B 权重和 Reframe-100K 训练数据都已公开,含两阶段训练脚本和 14 个基准的评测

用法

  • 代码:https://github.com/EliYuan30/Reframe;权重:抱脸 EliYuan00/Reframe;数据:EliYuan00/Reframe-100K
  • hf download 下载模型后,用 python inference/run.py --model <路径> --visual <图片> --question <问题> 跑示例

风险

  • 与 DeepEyes、Thyme 等现有模型的对比为作者统一设置下自测
  • 训练基于 ms-swift 框架,复现需要多卡强化学习环境
  • 本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态