Большинство существующих методов расширения сред MCP следуют подходу «сначала создаются базы данных и сценарии, затем выводятся инструменты и задачи», в результате чего интерфейсы инструментов не соответствуют реальным, а комбинации инструментов не проходят проверку выполнением. ToolSpace действует наоборот: используя детерминированные правила (без оценки большой языковой моделью), он извлекает три типа зависимостей — данные, состояние и повторные попытки — из соседних вызовов в реальных сервисах MCP и траекториях открытых агентов, строит взвешенный граф комбинаций инструментов и группирует его в среды; базы данных синтезируются только для сред, изменяющих состояние, а для инструментов запросов и инструментов без состояния воспроизводятся записанные возвращаемые значения; затем выполняется случайное блуждание с учетом состояния и возможностью отката, каждая цепочка вызовов декомпилируется в задачу на естественном языке с проверкой утверждений, сохраняются только те образцы, которые успешно воспроизводятся из начального состояния.
Лайки 34 · Звезды в коде 28
Обоснование
- Авторы утверждают, что на семи бенчмарках долгосрочных задач с инструментами средний балл Qwen3.6-35B-A3B вырос с 23.0 до 41.0 (с добавлением RL до 43.2), а GLM-5.2 вырос с 44.6 до 56.6, что сопоставимо с Claude Opus 5; абляционное исследование показывает, что «зависимые ребра, наблюдаемые во время выполнения», значительно лучше ребер, определенных большой языковой моделью, а увеличение объема данных и сред повышает баллы.
- Тот же процесс превращает AutomationBench и tau3-Bench Banking в более сложные версии Pro; авторы утверждают, что у 7 передовых моделей баллы упали максимум на 38.2; в репозитории опубликованы пакеты задач и скрипты оценки для AutomationBench Pro и Tau3 Banking Pro.
- Доступны веса: Hugging Face dongguanting/ToolSpace-8B (MIT), ToolSpace-35B-A3B (SFT + агентский RL, Apache-2.0), ToolSpace-744B-A40B (база GLM-5.2, только SFT, MIT); количество лайков на Hugging Face за день составляет 34, а звезд в коде — 28 (отражает только уровень внимания).
Использование
- Офлайн-опыт процесса синтеза (не требуется API Key): cd Tool-Space && uv sync --locked, uv run python run_pipeline.py demo --output outputs/demo, затем uv run python run_pipeline.py verify --tasks outputs/demo/tasks; выполнение среды и воспроизведение являются реальными, ответы модели используют фиксированные примеры.
- Развертывание модели (пример из карточки модели, 4 карт, окно 64K): vllm serve dongguanting/ToolSpace-35B-A3B --tensor-parallel-size 4 --max-model-len 65536 --enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3.
- Оценка: cp benchmark/.env.example benchmark/.env, заполните адрес тестируемой модели, cd benchmark && bash setup_all.sh, затем SCOPE=smoke RUN_NAME=my-model-smoke bash AutomationBench/run.sh для дымового тестирования; для версии Pro в каталоге Automation-Pro/ используйте evaluate.py validate / run.
Риски
- По умолчанию онлайн-оценка требует API Key стороннего прокси-сервиса Boyue (симулятор пользователя, модели поиска и оценки), а также ключи Serper / SerpAPI и токен Hugging Face; можно заменить на другие совместимые с OpenAI сервисы, но конфигурацию нужно выполнять самостоятельно.
- Публичная версия использует в качестве примера только AutomationBench (47 сервисов, 758 интерфейсов), полная графовая структура инструментов из статьи не опубликована; в README указано, что в статье описано 600 задач AutomationBench Pro, но в публичном пакете есть только 300 замороженных задач.
- В корневом каталоге репозитория нет файла LICENSE, в README указано только, что сторонние компоненты сохраняют свои лицензии; три контрольные точки имеют разные лицензии, все баллы сообщаются авторами.