프로그래밍/운영 에이전트를 '모델 + 하네스' 두 계층으로 분리하여 각각 점수를 매기는 벤치마크: 하네스는 도구 실행, 컨텍스트 관리, 권한 요청, 하위 에이전트 파생, 작업 완료 여부를 판단하는 역할을 담당한다. 95개의 작업이 컨텍스트, 실행, 거버넌스, 수명 주기, 관측성, 도구, 검증 등 7개의 신뢰성 차원을 포괄하며, 실행 추적 데이터를 수집하여 실패의 원인이 모델인지 하네스인지 판별한다.
좋아요 253 · 코드 스타 수 15
이유
- 저자는 Claude Code, Codex, OpenClaw, DeepSeek Harness 등 4가지 하네스 × 9개 모델에서 3,420번 실행했다: 하네스 점수는 59.8%에서 72.0% 사이였다; 31.1%개의 실행 작업은 성공했으나 최소한 하나의 하네스 규정을 위반했으며, 두 계층 모두 통과한 경우는 8.4%개뿐이었다(저자 보고).
- '작업 성공률만 보면 무엇을 놓치는가'에 대한 답변: 예를 들어 도구 오류가 조용히 무시되거나, 모델이 하네스의 결함을 우회하는 경우 등은 성공률로는 드러나지 않는다.
- 에이전트 하네스를 개발하거나 여러 프로그래밍 에이전트 중 하나를 선택할 때, 동일한 작업 세트와 동일한 모델을 사용하여 하네스 자체를 비교 평가할 수 있다.
사용법
- 코드 및 작업: github.com/TraceLite-AI/TraceTrial-Bench(MIT), Python 3.11+ 및 Docker 필요, Windows는 WSL 사용; 온라인 리더보드와 Hugging Face Space도 제공됨.
- 시작하기: pip install -e . 실행 후 configs/models.example.toml을 복사하여 모델 주소와 키를 입력; tracetrial_bench image build --harness openclaw로 하네스 이미지를 빌드한 후, tracetrial_bench run --task Task/C1-escalation-export-001 --harness openclaw --model <별칭> --mode docker로 단일 작업 실행.
- 전체 벤치마크는 --task-manifest Task/final.manifest를 지정하고 --judge-model을 설정하여 실행; tracetrial_bench report <실행 디렉터리>로 두 계층의 점수와 원인 분석을 확인.
리스크
- 하네스 계층의 점수 평가는 대규모 언어 모델(LLM) 심사에 의존하므로, 심사 모델의 선택이 결과에 영향을 미칠 수 있음; 모든 작업은 Docker 내에서 실제 모델 API를 호출하므로, 전체 벤치마크 실행에는 해당 API 할당량이 필요함.
- 검증 차원은 1개의 작업만 포함하여 커버리지가 얇음; 각 하네스의 순위와 수치는 모두 저자가 보고한 것임.
열기 · 코드 · Hugging Face 논문 페이지