Un benchmark qui évalue séparément les deux couches des agents de programmation / d'exploitation, à savoir « le modèle + l'enveloppe (harness) » : l'enveloppe est responsable de l'exécution des outils, de la gestion du contexte, de la demande d'autorisation, de la dérivation de sous-agents et de la détermination de l'achèvement des tâches. Les 95 tâches couvrent 7 dimensions de fiabilité, notamment le contexte, l'exécution, la gouvernance, le cycle de vie, l'observabilité, les outils et la vérification, permettant de déterminer, grâce à la collecte des traces d'exécution, si un échec doit être imputé au modèle ou à l'enveloppe.
J'aime 253 · Étoiles du code 15
Raison
- Les auteurs ont effectué 3,420 exécutions sur 4 types d'enveloppes (Claude Code, Codex, OpenClaw, DeepSeek Harness) × 9 modèles : les scores des enveloppes varient entre 59.8% et 72.0% ; 31.1% des tâches d'exécution ont réussi, mais ont violé au moins une spécification de l'enveloppe, et seules 8.4% ont réussi les deux couches (selon les auteurs).
- Répond à la question « Que manque-t-il si l'on ne regarde que le taux de réussite des tâches ? » : par exemple, les erreurs d'outils silencieusement ignorées ou les défauts de l'enveloppe contournés par le modèle lui-même ne sont pas visibles dans le taux de réussite.
- Lors du développement d'enveloppes d'agents ou de la sélection entre plusieurs agents de programmation, il est possible de comparer les enveloppes elles-mêmes horizontalement en utilisant le même ensemble de tâches et le même modèle.
Utilisation
- Code et tâches : github.com/TraceLite-AI/TraceTrial-Bench (MIT), nécessite Python 3.11+ et Docker, WSL pour Windows ; un classement en ligne et une page Hugging Face sont également disponibles.
- Prise en main : après
pip install -e ., copiezconfigs/models.example.tomlet remplissez l'adresse du modèle et la clé ; construisez l'image de l'enveloppe avectracetrial\_bench image build --harness openclaw, puis exécutez une tâche unique avectracetrial\_bench run --task Task/C1-escalation-export-001 --harness openclaw --model \<alias\> --mode docker. - Pour le benchmark complet, utilisez
--task-manifest Task/final.manifestet spécifiez--judge-model; consultez les scores des deux couches et l'attribution des responsabilités avectracetrial\_bench report \<répertoire d'exécution\>.
Risques
- L'évaluation de la couche d'enveloppe dépend de l'examen par un grand modèle de langage, et le choix du modèle d'examen peut influencer les résultats ; toutes les tâches appellent de vraies API de modèles dans Docker, ce qui nécessite des quotas correspondants pour exécuter le benchmark complet.
- La dimension de vérification ne comprend que 1 tâches, ce qui offre une couverture limitée ; les classements et les chiffres des différentes enveloppes sont rapportés par les auteurs.