原题:harness-hub/Qwen3.8-27B-pi-adapted
harness-hub 11 月 16 日上传的 LoRA 适配器(r=32),底模是 Qwen/Qwen3.8-27B,用 TRL 的 AsyncGRPO 强化学习训练,让它当 pi 编程代理背后的模型做软件工程和终端任务。训练任务来自 scale800(750 个)和 TermGrade(300 个),奖励是任务验证器给的正确率加一点工具效率分;本仓库是第 160 步的检查点。Apache-2.0 许可,另有 GGUF 版适配器。
为什么重要 官方称同样任务通过率明显提高、工具调用次数减少一半以上;训练配方公开,可照着给别的代理框架训练适配器
上升分 132 · 点赞 133 · 下载量 0
理由
- 官方称在 pi 下每题跑一次、温度 0.8:Terminal-Bench 2.1 从 39.5% 升到 55.8%、每题工具调用少 62%;SWE-bench Pro 最难的 51 题从 29.4% 升到 62.7%、工具调用少 55%
- 卡里给了成对比较的置信区间和符号检验,也单列了没用来挑检查点的 68 道 Terminal-Bench 题(39.7% → 55.9%)
- 用法覆盖 vLLM 挂 LoRA、transformers serve、llama.cpp 加 GGUF 适配器、macOS 的 Llama.app,以及用 PEFT 合并成完整模型(BF16 约 54 GB)
用法
- vLLM:vllm serve Qwen/Qwen3.8-27B --enable-lora --max-lora-rank 32 --lora-modules qwen3.8-pi=harness-hub/Qwen3.8-27B-pi-adapted,并加 --mamba-cache-mode align(不加则每轮都重读全部历史)、--tool-call-parser qwen3_xml,关闭思考
- pi(Node.js 22.19 以上):npm 安装 @earendil-works/pi-coding-agent,在 ~/.pi/agent/models.json 里加本地服务,api 必须写 openai-completions(适配器没用 Responses API 训练过)
- 本地跑:llama.cpp 用 Qwen3.8-27B 的 Q8_0 GGUF 加 harness-hub/Qwen3.8-27B-pi-GGUF 里的 F16 适配器;底模量化位数越低,离训练时的表现越远
风险
- 卡里命令写的仓库名是 harness-hub/Qwen3.8-27B-pi,本条查看时这个地址打不开,要换成本仓库名 harness-hub/Qwen3.8-27B-pi-adapted
- 只在 pi 框架、关闭思考的设置下训练和评测,换别的代理框架或打开思考没有数据;GGUF 版没有重新评测
- 训练在计划的 1000 步中第 191 步停下,挑的是第 160 步,挑选时看过 SWE-bench Pro 分数,这一项的提升可能偏乐观;本条未运行