原题:SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering
低比特量化会让智能体忽略任务要求或环境条件,走出和全精度模型不同的轨迹。SteerDistill 让量化学生从出错前的历史和环境状态重试,冻结的全精度老师根据执行反馈反复修改指导,直到这一步在本地验证通过;之后学生在没有指导的情况下训练,在被纠正的回合模仿“被指导后的自己”,其余回合模仿老师,推理时就不再需要老师。作者称在五个智能体基准、三个模型上,W4A16 下平均分比最强量化基线高 1.67–2.18 分,与 BF16 相差不到 1 分;在 τ²-Bench 上成功率比 QeRL 高 1.84 个百分点,训练 GPU 时长少 67%。
为什么重要 量化能省推理成本,但智能体常因此漏看任务要求;这套方法补回大部分损失,训练算力也比强化学习方案省
点赞 31 · 代码星数 7
理由
- 代码覆盖全流程:数据准备、裁剪校准、导出量化模型、在线蒸馏和评测,一条命令跑完 Qwen3-8B 在 BFCL V4 上的示例
- 支持 Qwen3-8B(W4A16、W4A8、W2A16)、Qwen3.5-4B 和 Gemma 4 12B-it;基准为 BFCL V4、tau2-Bench、WebShop、ALFWorld、Search QA
用法
- 代码:https://github.com/air-embodied-brain/SteerDistill(MIT 许可)
- 按 README 装好环境、在 configs/local.env 填入强化学习后的 BF16 检查点路径,运行 bash scripts/run/run_benchmark.sh full --model qwen3_8b --benchmark bfcl_v4;网页搜索评测要配 SERPAPI_API_KEY
风险
- 训练好的量化检查点还没放出(README 标为 TODO),需要自己从强化学习后的 BF16 模型开始训练
- 参考训练配置是 8 张 A100 80GB,另需单独的推理和基准环境
- 成绩为作者报告;本条未运行