ToolSpace:从真实工具调用轨迹反推出可执行环境和长任务(Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents)

现有 MCP 环境扩增多是“先编数据库和场景、再推出工具和任务”,结果工具接口和真实的对不上、工具组合没经过执行。ToolSpace 反过来做:用确定性规则(不靠大模型判断)从真实 MCP 服务和开源智能体轨迹的相邻调用里挖出数据、状态、重试三类依赖,建成带权的工具组合图并聚类成环境;只给会改状态的环境合成数据库,查询类和无状态工具回放录下的返回值;再做带回滚的状态感知随机游走,把每条调用链反编译成带断言检查的自然语言任务,只保留从初始状态能重放成功的样本。

现有 MCP 环境扩增多是“先编数据库和场景、再推出工具和任务”,结果工具接口和真实的对不上、工具组合没经过执行。ToolSpace 反过来做:用确定性规则(不靠大模型判断)从真实 MCP 服务和开源智能体轨迹的相邻调用里挖出数据、状态、重试三类依赖,建成带权的工具组合图并聚类成环境;只给会改状态的环境合成数据库,查询类和无状态工具回放录下的返回值;再做带回滚的状态感知随机游走,把每条调用链反编译成带断言检查的自然语言任务,只保留从初始状态能重放成功的样本。

点赞 34 · 代码星数 28

理由

  • 作者称在七个长任务工具基准上,Qwen3.6-35B-A3B 平均分从 23.0 升到 41.0(再加 RL 到 43.2),GLM-5.2 从 44.6 升到 56.6、与 Claude Opus 5 相当;消融显示“执行中见过的依赖边”明显好于大模型判断出的边,数据和环境越多分数越高。
  • 同一流程把 AutomationBench 和 tau3-Bench Banking 做成更难的 Pro 版,作者称 7 个前沿模型最多掉 38.2 分;仓库放出 AutomationBench Pro 和 Tau3 Banking Pro 的任务包和评测脚本。
  • 权重齐:抱脸 dongguanting/ToolSpace-8B(MIT)、ToolSpace-35B-A3B(SFT + 智能体 RL,Apache-2.0)、ToolSpace-744B-A40B(GLM-5.2 底座,只做 SFT,MIT);抱脸当日点赞 34、代码星数 28(只代表关注度)。

用法

  • 离线体验合成流程(不需要 API Key):cd Tool-Space && uv sync --locked,uv run python run_pipeline.py demo --output outputs/demo,再 uv run python run_pipeline.py verify --tasks outputs/demo/tasks;环境执行和重放是真的,模型回复用固定样例。
  • 部署模型(模型卡示例,4 卡、64K 窗口):vllm serve dongguanting/ToolSpace-35B-A3B --tensor-parallel-size 4 --max-model-len 65536 --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3。
  • 评测:cp benchmark/.env.example benchmark/.env 填被测模型地址,cd benchmark && bash setup_all.sh,再 SCOPE=smoke RUN_NAME=my-model-smoke bash AutomationBench/run.sh 冒烟测试;Pro 版在 Automation-Pro/ 下用 evaluate.py validate / run。

风险

  • 默认在线评测要第三方中转服务 Boyue 的 API Key(用户模拟器、检索和评审模型),另要 Serper / SerpAPI 和抱脸 token;可以换成别的 OpenAI 兼容服务,但要自己配置。
  • 公开版只拿 AutomationBench 做示例(47 个服务、758 个接口),论文里完整的工具图没放;README 写明论文描述 600 道 AutomationBench Pro,公开包只有 300 道冻结任务。
  • 仓库根目录没有 LICENSE 文件,README 只说第三方组件各自保留许可;三个检查点许可证不同,分数均为作者报告。

打开 · 代码 · 抱脸论文页

Hugging Face Daily Papers

浏览最新 AI 动态