기존 MCP 환경 확장 방식은 대부분 '데이터베이스와 시나리오를 먼저 구성한 후 도구와 작업을 도출'하는 방식이었으나, 그 결과 도구 인터페이스가 실제와 일치하지 않고 도구 조합이 실행 검증을 거치지 않았습니다. ToolSpace는 이를 반대로 수행합니다: 결정적 규칙(대형 언어 모델의 판단에 의존하지 않음)을 사용하여 실제 MCP 서비스와 오픈소스 에이전트 궤적의 인접 호출에서 데이터, 상태, 재시도 세 가지 유형의 의존성을 추출하고, 가중치가 부여된 도구 조합 그래프를 구축하여 환경으로 클러스터링합니다. 상태를 변경하는 환경에만 데이터베이스를 합성하고, 쿼리 유형 및 상태 비저장 도구는 녹화된 반환값을 재생합니다. 이후 롤백이 포함된 상태 인식 랜덤 워크를 수행하여 각 호출 체인을 단정문 검사가 포함된 자연어 작업으로 디컴파일하며, 초기 상태에서 재생에 성공한 샘플만 유지합니다.
좋아요 34 · 코드 스타 수 28
이유
- 저자는 7개의 장기 작업 도구 벤치마크에서 Qwen3.6-35B-A3B의 평균 점수가 23.0에서 41.0로 상승했으며(추가로 RL을 적용하면 43.2까지 상승), GLM-5.2은 44.6에서 56.6로 상승하여 Claude Opus 5과 동등한 수준을 보였다고 주장합니다. 추상화 분석 결과 '실행 중에 관찰된 의존성 엣지'가 대형 언어 모델이 판단한 엣지보다 명확히 더 우수하며, 데이터와 환경이 많을수록 점수가 높아진다는 것을 보여줍니다.
- 동일한 프로세스를 통해 AutomationBench와 tau3-Bench Banking을 더 어려운 Pro 버전으로 제작했으며, 저자는 7개의 최첨단 모델이 최대 38.2점 하락했다고 주장합니다. 저장소에는 AutomationBench Pro와 Tau3 Banking Pro의 작업 패키지 및 평가 스크립트가 공개되어 있습니다.
- 가중치가 모두 공개됩니다: Hugging Face의 dongguanting/ToolSpace-8B(MIT), ToolSpace-35B-A3B(SFT + 에이전트 RL, Apache-2.0), ToolSpace-744B-A40B(GLM-5.2 기반, SFT만 수행, MIT)이 포함됩니다. Hugging Face의 당일 좋아요 수 34, 코드 스타 수 28(관심도만 반영).
사용법
- 합성 프로세스 오프라인 체험(API 키 불필요): cd Tool-Space && uv sync --locked, uv run python run_pipeline.py demo --output outputs/demo, 그 다음 uv run python run_pipeline.py verify --tasks outputs/demo/tasks; 환경 실행 및 재생은 실제이며, 모델 응답은 고정된 샘플을 사용합니다.
- 모델 배포(모델 카드 예시, 4 카드, 64K 윈도우): vllm serve dongguanting/ToolSpace-35B-A3B --tensor-parallel-size 4 --max-model-len 65536 --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3.
- 평가: cp benchmark/.env.example benchmark/.env를 실행하여 평가 대상 모델 주소를 입력하고, cd benchmark && bash setup_all.sh를 실행한 후, SCOPE=smoke RUN_NAME=my-model-smoke bash AutomationBench/run.sh로 스모크 테스트를 수행합니다. Pro 버전은 Automation-Pro/ 디렉토리에서 evaluate.py validate / run을 사용합니다.
리스크
- 기본 온라인 평가는 제3자 중개 서비스인 Boyue의 API 키(사용자 시뮬레이터, 검색 및 평가 모델)가 필요하며, 추가로 Serper / SerpAPI와 Hugging Face 토큰이 필요합니다. 다른 OpenAI 호환 서비스로 교체할 수 있지만 직접 설정해야 합니다.
- 공개 버전은 AutomationBench만 예시로 포함하고 있습니다(47개 서비스, 758개 인터페이스). 논문에서 설명한 전체 도구 그래프는 공개되지 않았습니다. README에는 논문에서 600개의 AutomationBench Pro 작업을 설명하지만 공개 패키지에는 300개의 동결된 작업만 포함되어 있다고 명시되어 있습니다.
- 저장소 루트 디렉토리에 LICENSE 파일이 없으며, README에는 서드파티 구성 요소가 각각의 라이선스를 유지한다고만 언급되어 있습니다. 세 가지 체크포인트의 라이선스가 다르며, 점수는 모두 저자가 보고한 값입니다.
열기 · 코드 · Hugging Face 논문 페이지