Публичная предварительная версия GitHub Copilot Evals: возможность тестирования собственных навыков и MCP

GitHub 11 17 выпустила публичную предварительную версию Copilot Evals: создавайте оценки для навыков, пользовательских агентов или инструментов MCP в своем проекте с помощью естественного языка или команды /eval. Предоставьте агенту реальную задачу, четко определите критерии успешного результата и проверяйте как итоговый результат, так и процесс выполнения. Перед каждым запуском требуется подтверждение пользователя; можно просматривать неудачные проверки и их причины, а также сравнивать результаты до и после внесения изменений в конфигурацию. Движком оценки является локальный инструмент Vally, поддерживающий расширение для VS Code, плагин Copilot CLI и плагин приложения Copilot. Доступно для тарифных планов Individual, Business и Enterprise.

Оригинальное название: GitHub Copilot Evals теперь доступна в публичной предварительной версии

GitHub 11 17 выпустила публичную предварительную версию Copilot Evals: создавайте оценки для навыков, пользовательских агентов или инструментов MCP в своем проекте с помощью естественного языка или команды /eval. Предоставьте агенту реальную задачу, четко определите критерии успешного результата и проверяйте как итоговый результат, так и процесс выполнения. Перед каждым запуском требуется подтверждение пользователя; можно просматривать неудачные проверки и их причины, а также сравнивать результаты до и после внесения изменений в конфигурацию. Движком оценки является локальный инструмент Vally, поддерживающий расширение для VS Code, плагин Copilot CLI и плагин приложения Copilot. Доступно для тарифных планов Individual, Business и Enterprise.

Почему это важно После изменения подсказок, навыков или инструментов можно использовать один и тот же набор тестов, чтобы убедиться в отсутствии регрессий, а не полагаться на оценку единственного ответа.

Достоверность: высокая · Источник: журнал обновлений GitHub (включая официальные данные) · Время события 11-18 02:00 (пекинское время)

Обоснование

  • Официальный журнал обновлений GitHub

Использование

  • Установите расширение GitHub Copilot Evals в VS Code; установите плагин для Copilot CLI согласно инструкции; в приложении Copilot добавьте маркетплейс github/evals в разделе Customize и выполните установку

Риски

  • Публичная предварительная версия, функциональность может измениться

Открыть

GitHub Copilot 更新

Открыть последние новости ИИ