把编程 / 运维智能体拆成“模型 + 外壳（harness）”两层分别打分的基准：外壳负责执行工具、管理上下文、请求授权、派生子智能体、判断任务是否完成。95 个任务覆盖上下文、执行、治理、生命周期、可观测性、工具、验证 7 个可靠性维度，通过采集执行轨迹判断一次失败该算在模型头上还是外壳头上。
点赞 253 · 代码星数 15
理由
- 作者在 Claude Code、Codex、OpenClaw、DeepSeek Harness 4 种外壳 × 9 个模型上跑了 3,420 次：外壳得分在 59.8% 到 72.0% 之间；31.1% 的运行任务成功了，却至少违反一条外壳规范，两层全部通过的只有 8.4%（作者称）。
- 回答“只看任务成功率会漏掉什么”：例如工具报错被悄悄吞掉、模型自己绕过了外壳缺陷，这些在成功率里看不出来。
- 做智能体外壳或在几种编程智能体之间选型时，可以用同一套任务、同一个模型横向比较外壳本身。
用法
- 代码与任务：github.com/TraceLite-AI/TraceTrial-Bench（MIT），需要 Python 3.11+ 和 Docker，Windows 用 WSL；另有在线排行榜和抱脸 Space。
- 上手：pip install -e . 后复制 configs/models.example.toml 填入模型地址和密钥；tracetrial_bench image build --harness openclaw 构建外壳镜像，再 tracetrial_bench run --task Task/C1-escalation-export-001 --harness openclaw --model <别名> --mode docker 跑单个任务。
- 完整基准用 --task-manifest Task/final.manifest 并指定 --judge-model；tracetrial_bench report <运行目录> 查看两层得分和归因。
风险
- 外壳层打分依赖大模型评审，评审模型的选择会影响结果；全部任务在 Docker 里调用真实模型 API，跑完整基准需要相应额度。
- 验证维度只有 1 个任务，覆盖偏薄；各外壳排名与数字均为作者报告。