原题：What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?
作者用 Pass@(K,T)——采样宽度 K 和交互深度（回合预算）T——重新评估多轮智能体强化学习：轨迹层面的 RL 优势依赖足够的回合预算，预算一紧就明显缩小甚至反转；RL 并没有普遍提高单步决策质量，优势主要集中在出错后的恢复和长程任务里的坚持。为降低这种预算依赖带来的部署风险，作者初步讨论了过程监督信号的利弊，并提出 BudgetMix RL：训练时让不同组拿到不同、且明确可见的回合预算，作者称它在多种执行设置下都表现稳健。
点赞 33 · 代码星数 16
理由
- 给训练和评测智能体的团队一个“别只看平均成功率”的提醒：上线时回合数受限的场景，RL 带来的好处可能明显缩水。
- 工具已开源（MIT）：紧预算评测、错误前缀评测（同一状态和剩余预算下谁决策更好、谁更会恢复）、训练动态、BudgetMix 规划与审计，另有似然 / NLL 分析和过程信号；核心评测只用 Python 标准库，可以接自己的 HTTP 聊天端点或 JSONL 轨迹。
- 抱脸当日点赞 33、排第 5，代码星数 16（只代表关注度）。
用法
- git clone https://github.com/GaryStack/Rethinking-Agent-RL 后 python -m pip install -e .（Python 3.11+），ard doctor --json 检查环境，ard toolkit-demo --output runs/toolkit-walkthrough 生成五份对比报告（用脚本化策略演示，不需要 GPU、权重和网络），打开 runs/toolkit-walkthrough/index.html 查看。
- 评自己的模型：ard eval budget、ard compare 看不同 K、T 下的成功率；ard pool errors 加 ard eval step / ard eval recovery 做错误前缀评测；ard budgetmix plan / audit 配置 BudgetMix 训练（可选 VeRL 适配器）。
风险
- 作者写明仓库里的示例和工程检查不是论文数字的复现；模型权重、私有评测、原始轨迹和完整实验结果都没有放出。
- BudgetMix RL 是作者所说的初步方案，摘要没有给出具体提升幅度。