TraceTrial-Bench: Оценка надёжности оболочки агента (Испытание трассировкой)

Бенчмарк, который разделяет агентов для программирования / эксплуатации на два уровня — «модель» и «оболочка (harness)» — и оценивает их по отдельности: оболочка отвечает за выполнение инструментов, управление контекстом, запрос разрешений, порождение дочерних агентов и определение завершения задачи. 95 задач охватывают 7 аспектов надёжности, включая контекст, выполнение, управление, жизненный цикл, наблюдаемость, инструменты и верификацию; сбор трассировок выполнения позволяет определить, следует ли относить сбой на счёт модели или оболочки.

Лайки 253 · Звёзды на GitHub 15

Обоснование

• Авторы провели 3,420 запусков на 4 типах оболочек (Claude Code, Codex, OpenClaw, DeepSeek Harness) × 9 моделях: оценки оболочек варьировались от 59.8% до 72.0%; 31.1% задач были выполнены успешно, но как минимум одно требование к оболочке было нарушено, и только 8.4% задач (по заявлению авторов) прошли проверку на обоих уровнях.
• Ответ на вопрос «что упускается при оценке только по успешности выполнения задач»: например, ошибки инструментов могут незаметно подавляться, а модель может обходить недостатки оболочки, что не отражается в метрике успешности.
• При разработке оболочек агентов или выборе между различными агентами для программирования можно использовать одинаковый набор задач и одну и ту же модель для сравнения самих оболочек.

Использование

• Код и задачи: github.com/TraceLite-AI/TraceTrial-Bench (MIT), требуется Python 3.11+ и Docker, для Windows используется WSL; также доступны онлайн-рейтинг и демо на Hugging Face Space.
• Начало работы: после установки через pip install -e . скопируйте configs/models.example.toml и укажите адреса моделей и ключи; выполните tracetrial\_bench image build --harness openclaw для сборки образа оболочки, затем запустите отдельную задачу командой tracetrial\_bench run --task Task/C1-escalation-export-001 --harness openclaw --model \<алиас\> --mode docker.
• Для полного бенчмарка используйте --task-manifest Task/final.manifest и укажите --judge-model; команда tracetrial\_bench report \<каталог\_запуска\> покажет оценки для обоих уровней и атрибуцию результатов.

Риски

• Оценка уровня оболочки зависит от проверки большой языковой моделью, и выбор модели-судьи может повлиять на результаты; все задачи выполняются в Docker с вызовом реальных API моделей, поэтому для полного бенчмарка требуются соответствующие лимиты.
• Аспект верификации представлен всего 1 задачами, что обеспечивает недостаточное покрытие; все рейтинги оболочек и числовые показатели приведены по данным авторов.

Открыть · Код · Страница статьи на Hugging Face