TraceTrial-Bench: Đánh giá độ tin cậy của lớp vỏ (harness) cho tác nhân (Trial by Trace)

Một chuẩn đánh giá tách biệt việc chấm điểm hai lớp “mô hình + lớp vỏ (harness)” của các tác nhân lập trình / vận hành: lớp vỏ chịu trách nhiệm thực thi công cụ, quản lý ngữ cảnh, yêu cầu quyền truy cập, khởi tạo các tác nhân con và xác định xem nhiệm vụ đã hoàn thành hay chưa. 95 nhiệm vụ bao quát 7 khía cạnh độ tin cậy liên quan đến ngữ cảnh, thực thi, quản trị, vòng đời, khả năng quan sát, công cụ và xác minh, bằng cách thu thập dấu vết thực thi để xác định xem một lỗi nên quy cho mô hình hay cho lớp vỏ.

Thích 253 · Số sao mã nguồn 15

Lý do

• Tác giả đã chạy 3,420 lần trên 4 loại lớp vỏ (Claude Code, Codex, OpenClaw, DeepSeek Harness) × 9 mô hình: điểm số của lớp vỏ dao động từ 59.8% đến 72.0%; 31.1% nhiệm vụ đã chạy thành công nhưng vi phạm ít nhất một quy chuẩn của lớp vỏ, và chỉ có 8.4% trường hợp (theo tác giả) vượt qua cả hai lớp.
• Trả lời câu hỏi “Việc chỉ xem tỷ lệ thành công nhiệm vụ sẽ bỏ sót điều gì”: ví dụ, các lỗi công cụ bị ẩn đi một cách âm thầm, hoặc mô hình tự động lách qua các khiếm khuyết của lớp vỏ, những điều này không thể hiện rõ trong tỷ lệ thành công.
• Khi phát triển lớp vỏ cho tác nhân hoặc lựa chọn giữa các tác nhân lập trình khác nhau, bạn có thể sử dụng cùng một bộ nhiệm vụ và cùng một mô hình để so sánh ngang hàng bản thân các lớp vỏ.

Cách sử dụng

• Mã nguồn và nhiệm vụ: github.com/TraceLite-AI/TraceTrial-Bench (MIT), yêu cầu Python 3.11+ và Docker, trên Windows cần dùng WSL; ngoài ra còn có bảng xếp hạng trực tuyến và không gian Hugging Face.
• Bắt đầu: sau khi chạy pip install -e ., sao chép configs/models.example.toml và điền địa chỉ mô hình cùng khóa API; chạy tracetrial\_bench image build --harness openclaw để xây dựng hình ảnh lớp vỏ, sau đó chạy tracetrial\_bench run --task Task/C1-escalation-export-001 --harness openclaw --model \<alias\> --mode docker để chạy một nhiệm vụ đơn lẻ.
• Để chạy bộ chuẩn đầy đủ, hãy sử dụng --task-manifest Task/final.manifest và chỉ định --judge-model; chạy tracetrial\_bench report \<run_directory\> để xem điểm số của cả hai lớp và phân tích nguyên nhân lỗi.

Rủi ro

• Việc chấm điểm lớp vỏ phụ thuộc vào đánh giá của mô hình lớn, và việc lựa chọn mô hình đánh giá có thể ảnh hưởng đến kết quả; tất cả các nhiệm vụ đều gọi API mô hình thực tế trong môi trường Docker, nên việc chạy bộ chuẩn đầy đủ cần có hạn mức tương ứng.
• Khía cạnh xác minh chỉ có 1 nhiệm vụ, độ phủ còn hạn chế; thứ hạng và các con số của từng lớp vỏ đều do tác giả báo cáo.

Mở · Mã nguồn · Trang bài báo trên Hugging Face