既存のMCP環境拡張は多くが「まずデータベースとシナリオを作成し、その後ツールとタスクを導き出す」というアプローチであり、その結果、ツールインターフェースが実物と一致せず、ツールの組み合わせも実行検証を経ていない。ToolSpaceはその逆を行う：決定論的なルール（大規模モデルの判断に依存しない）を用いて、実際のMCPサービスとオープンソースのエージェントトレースにおける隣接する呼び出しから、データ、状態、リトライの3種類の依存関係を抽出し、重み付きツール組み合わせグラフを構築して環境としてクラスタリングする。状態を変更する環境のみに対してデータベースを合成し、クエリ系およびステートレスなツールについては記録された戻り値を再生する。さらに、ロールバック機能を備えた状態認識型ランダムウォークを行い、各呼び出しチェーンをアサーションチェック付きの自然言語タスクに逆コンパイルし、初期状態から再生に成功したサンプルのみを保持する。
いいね 34 · コードスター数 28
理由
- 著者によると、7つの長期的なツールベースのベンチマークにおいて、Qwen3.6-35B-A3Bの平均スコアが23.0から41.0へ上昇し（さらにRLを追加すると43.2）、GLM-5.2は44.6から56.6へ上昇してClaude Opus 5と同等となった。アブレーション実験では、「実行中に確認された依存関係のエッジ」が、大規模モデルによって判断されたエッジよりも明らかに優れており、データと環境が増えるほどスコアが高くなることが示された。
- 同じプロセスにより、AutomationBenchおよびtau3-Bench Bankingをより難しいPro版に作成した。著者によると、7個の最先端モデルで最大38.2点の低下が見られた。リポジトリにはAutomationBench ProおよびTau3 Banking Proのタスクパッケージと評価スクリプトが公開されている。
- 重み付けが揃っている：Hugging Face上のdongguanting/ToolSpace-8B（MIT）、ToolSpace-35B-A3B（SFT + エージェントRL、Apache-2.0）、ToolSpace-744B-A40B（GLM-5.2ベース、SFTのみ、MIT）。Hugging Faceでの当日のいいね数は34、コードスター数は28（これは注目度を示すに過ぎない）。
使い方
- 合成プロセスをオフラインで体験する（APIキー不要）：cd Tool-Space && uv sync --locked、uv run python run_pipeline.py demo --output outputs/demo、続いて uv run python run_pipeline.py verify --tasks outputs/demo/tasks。環境の実行と再生は実際に行われるが、モデルの応答は固定サンプルを使用する。
- モデルのデプロイ（モデルカードの例、4カード、64Kウィンドウ）：vllm serve dongguanting/ToolSpace-35B-A3B --tensor-parallel-size 4 --max-model-len 65536 --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3。
- 評価：benchmark/.env.exampleをbenchmark/.envにコピーして被評価モデルのアドレスを入力し、cd benchmark && bash setup_all.sh、続いて SCOPE=smoke RUN_NAME=my-model-smoke bash AutomationBench/run.sh でスモークテストを行う。Pro版はAutomation-Pro/ディレクトリ内でevaluate.py validate / runを使用する。
リスク
- デフォルトのオンライン評価には、サードパーティの中継サービスであるBoyueのAPIキー（ユーザーシミュレーター、検索および審査モデル用）が必要であり、さらにSerper / SerpAPIおよびHugging Faceトークンも必要となる。他のOpenAI互換サービスに置き換えることも可能だが、独自に設定する必要がある。
- 公開版ではAutomationBenchのみを例として使用している（47個のサービス、758個のインターフェース）。論文に記載されている完全なツールグラフは含まれていない。READMEには、論文で説明されているAutomationBench Proの600問に対し、公開パッケージには凍結されたタスクが300問のみ含まれていることが明記されている。
- リポジトリのルートディレクトリにLICENSEファイルがなく、READMEではサードパーティコンポーネントは各自のライセンスを保持すると記載されている。3つのチェックポイントのライセンスは異なり、スコアはすべて著者による報告値である。
開く · コード · Hugging Face論文ページ