プログラミング／運用エージェントを「モデル＋ハーネス（harness）」の2層に分解し、それぞれを採点するベンチマーク：ハーネスはツールの実行、コンテキストの管理、権限の要求、サブエージェントの生成、タスク完了の判定を担当する。95 個のタスクが、コンテキスト、実行、ガバナンス、ライフサイクル、可観測性、ツール、検証という 7 個の信頼性次元をカバーし、実行トレースの収集を通じて、失敗がモデル側の問題かハーネス側の問題かを判定する。
いいね 253 · コードスター数 15
理由
- 著者は、Claude Code、Codex、OpenClaw、DeepSeek Harness の 4 種類のハーネス × 9 個のモデルで 3,420 回実行した：ハーネスのスコアは 59.8% から 72.0% の間であり；31.1% の実行タスクは成功したが、少なくとも1つのハーネス仕様違反があり、両層ともにパスしたのは 8.4% のみ（著者報告）。
- 「タスク成功率だけを見ると何が漏れるか」への回答：例えば、ツールのエラーが黙って握りつぶされたり、モデルがハーネスの欠陥を回避したりする場合、これらは成功率には現れない。
- エージェントハーネスを開発する場合や、複数のプログラミングエージェント間で選定を行う際に、同一のタスクセットと同一のモデルを用いて、ハーネス自体を横断的に比較できる。
使い方
- コードとタスク：github.com/TraceLite-AI/TraceTrial-Bench（MITライセンス）、Python 3.11+ と Docker が必要、Windows では WSL を使用；オンラインリーダーボードと Hugging Face Space も用意されている。
- 開始方法：pip install -e . を実行後、configs/models.example.toml をコピーしてモデルのアドレスとキーを記入；tracetrial_bench image build --harness openclaw でハーネスイメージをビルドし、続いて tracetrial_bench run --task Task/C1-escalation-export-001 --harness openclaw --model <エイリアス> --mode docker で単一タスクを実行。
- 完全なベンチマーク実行には --task-manifest Task/final.manifest を指定し、--judge-model を設定；tracetrial_bench report <実行ディレクトリ> で2層のスコアと原因分析を確認。
リスク
- ハーネス層の採点は大規模言語モデルによる評価に依存しており、評価モデルの選択が結果に影響を与える可能性がある；すべてのタスクは Docker 内で実際のモデル API を呼び出すため、完全なベンチマークの実行には相応のクォータが必要。
- 検証次元のタスクは 1 個のみで、カバー範囲が薄い；各ハーネスのランキングと数値はすべて著者による報告。