Việc mở rộng môi trường MCP hiện tại thường theo cách “xây dựng cơ sở dữ liệu và kịch bản trước, rồi suy ra các công cụ và tác vụ”, dẫn đến giao diện công cụ không khớp với thực tế và các tổ hợp công cụ chưa được kiểm chứng qua thực thi. ToolSpace làm ngược lại: sử dụng các quy tắc xác định (không dựa vào đánh giá của mô hình lớn) để khai thác ba loại phụ thuộc gồm dữ liệu, trạng thái và thử lại từ các lệnh gọi liền kề trong các dịch vụ MCP thực tế và dấu vết của các tác nhân mã nguồn mở, xây dựng đồ thị tổ hợp công cụ có trọng số và phân cụm thành các môi trường; chỉ tổng hợp cơ sở dữ liệu cho các môi trường có thay đổi trạng thái, còn các công cụ truy vấn và không trạng thái sẽ phát lại các giá trị trả về đã được ghi lại; sau đó thực hiện quá trình đi ngẫu nhiên có nhận thức trạng thái kèm cơ chế hoàn tác, dịch ngược mỗi chuỗi lệnh gọi thành các tác vụ ngôn ngữ tự nhiên có kiểm tra khẳng định, chỉ giữ lại các mẫu có thể phát lại thành công từ trạng thái ban đầu.
Thích 34 · Số sao mã nguồn 28
Lý do
- Tác giả tuyên bố rằng trên bảy chuẩn công cụ tác vụ dài hạn, điểm trung bình của Qwen3.6-35B-A3B tăng từ 23.0 lên 41.0 (tăng lên 43.2 khi thêm RL), GLM-5.2 tăng từ 44.6 lên 56.6, tương đương với Claude Opus 5; các thử nghiệm loại bỏ cho thấy “các cạnh phụ thuộc đã thấy trong quá trình thực thi” tốt hơn rõ rệt so với các cạnh được suy ra bởi mô hình lớn, và điểm số tăng khi có nhiều dữ liệu và môi trường hơn.
- Cùng quy trình này biến AutomationBench và tau3-Bench Banking thành các phiên bản Pro khó hơn, tác giả tuyên bố rằng 7 mô hình tiên tiến nhất bị giảm tối đa 38.2 điểm; kho lưu trữ cung cấp các gói tác vụ và tập lệnh đánh giá cho AutomationBench Pro và Tau3 Banking Pro.
- Có đầy đủ trọng số: Hugging Face dongguanting/ToolSpace-8B (MIT), ToolSpace-35B-A3B (SFT + RL tác nhân, Apache-2.0), ToolSpace-744B-A40B (dựa trên GLM-5.2, chỉ thực hiện SFT, MIT); số lượt thích trên Hugging Face trong ngày là 34, số sao mã nguồn là 28 (chỉ phản ánh mức độ quan tâm).
Cách sử dụng
- Trải nghiệm quy trình tổng hợp ngoại tuyến (không cần API Key): cd Tool-Space && uv sync --locked, uv run python run_pipeline.py demo --output outputs/demo, sau đó uv run python run_pipeline.py verify --tasks outputs/demo/tasks; việc thực thi và phát lại môi trường là thật, còn phản hồi của mô hình sử dụng các mẫu cố định.
- Triển khai mô hình (ví dụ từ thẻ mô hình, 4 GPU, cửa sổ 64K): vllm serve dongguanting/ToolSpace-35B-A3B --tensor-parallel-size 4 --max-model-len 65536 --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3.
- Đánh giá: cp benchmark/.env.example benchmark/.env và điền địa chỉ mô hình cần kiểm tra, cd benchmark && bash setup_all.sh, sau đó SCOPE=smoke RUN_NAME=my-model-smoke bash AutomationBench/run.sh để kiểm thử nhanh; phiên bản Pro nằm trong thư mục Automation-Pro/ và sử dụng evaluate.py validate / run.
Rủi ro
- Đánh giá trực tuyến mặc định yêu cầu API Key của dịch vụ trung gian bên thứ ba Boyue (mô hình mô phỏng người dùng, truy xuất và đánh giá), cùng với Serper / SerpAPI và token Hugging Face; có thể thay thế bằng các dịch vụ tương thích OpenAI khác, nhưng cần tự cấu hình.
- Phiên bản công khai chỉ sử dụng AutomationBench làm ví dụ (47 dịch vụ, 758 giao diện), đồ thị công cụ đầy đủ trong bài báo chưa được công bố; README ghi rõ bài báo mô tả 600 bài toán AutomationBench Pro, nhưng gói công khai chỉ có 300 bài toán đã được đóng băng.
- Thư mục gốc của kho lưu trữ không có tệp LICENSE, README chỉ nêu rằng các thành phần của bên thứ ba giữ nguyên giấy phép riêng; ba điểm kiểm tra có giấy phép khác nhau, và tất cả điểm số đều do tác giả báo cáo.