Agent-R²:用真实网页文件合成办公任务训练小智能体

大模型智能体做真实办公工作仍吃力:要走完长流程、读懂各种格式的附件、交出能用的成品,而贴近真实工作的后训练数据很少。Agent-R² 不靠人工写流程或让大模型编文件,而是从真实职业任务种子、语料中提取的工作流证据和网上找到的真实文件出发,从 1 万个网页语料候选里提炼出 4 千个带多格式附件和交付物评分细则的任务。用这些数据做 SFT 加基于评分细则的强化学习后,作者称 Agent-R²-4B 在 GDPval 上 51.0%、OfficeQA 上 14.8%,都高于 Qwen3-235B-A22B-Thinking-2507(48.0% 和 13.8%),并减少了走捷径的行为。

原题:Agent-R^2: Scaling Agents for Realistic Productivity Work via Real-Source Data Synthesis

大模型智能体做真实办公工作仍吃力:要走完长流程、读懂各种格式的附件、交出能用的成品,而贴近真实工作的后训练数据很少。Agent-R² 不靠人工写流程或让大模型编文件,而是从真实职业任务种子、语料中提取的工作流证据和网上找到的真实文件出发,从 1 万个网页语料候选里提炼出 4 千个带多格式附件和交付物评分细则的任务。用这些数据做 SFT 加基于评分细则的强化学习后,作者称 Agent-R²-4B 在 GDPval 上 51.0%、OfficeQA 上 14.8%,都高于 Qwen3-235B-A22B-Thinking-2507(48.0% 和 13.8%),并减少了走捷径的行为。

为什么重要 办公智能体缺的是贴近真实工作的训练数据;这套流程从真实文件和工作流出发生成任务,并带按交付物打分的细则

点赞 3 · 代码星数 7

理由

  • 数据合成、SFT(ms-swift)、多轮 GRPO 强化学习(verl)、GDPval 和 OfficeQA 评测的代码都在一个仓库里,配置集中在 settings.yaml
  • 模型 Agent-R2-4B 已在抱脸放出,基于 Qwen3-4B-Thinking-2507,Apache-2.0

用法

  • 代码:https://github.com/ZJU-REAL/Agent-R2;模型:抱脸 teng-pan/Agent-R2-4B,可用 transformers 加载
  • 复现需在 Agent-R2/settings/settings.yaml 填大模型网关、Serper 搜索的密钥和沙箱服务;评测数据从 openai/gdpval、databricks/officeqa 下载

风险

  • 对比对象多是上一代模型;GDPval 成绩离 Claude-Opus-4.5、GLM-4.7 等仍有明显差距
  • 作者实验用百度内部沙箱,开源替代需换成 AIO Sandbox;SFT 参考配置为 8 卡全参训练;成绩为作者报告,本条未运行

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态