Оригинальное название: GitHub Copilot Evals теперь доступна в публичной предварительной версии
GitHub 11 17 выпустила публичную предварительную версию Copilot Evals: создавайте оценки для навыков, пользовательских агентов или инструментов MCP в своем проекте с помощью естественного языка или команды /eval. Предоставьте агенту реальную задачу, четко определите критерии успешного результата и проверяйте как итоговый результат, так и процесс выполнения. Перед каждым запуском требуется подтверждение пользователя; можно просматривать неудачные проверки и их причины, а также сравнивать результаты до и после внесения изменений в конфигурацию. Движком оценки является локальный инструмент Vally, поддерживающий расширение для VS Code, плагин Copilot CLI и плагин приложения Copilot. Доступно для тарифных планов Individual, Business и Enterprise.
Почему это важно После изменения подсказок, навыков или инструментов можно использовать один и тот же набор тестов, чтобы убедиться в отсутствии регрессий, а не полагаться на оценку единственного ответа.
Достоверность: высокая · Источник: журнал обновлений GitHub (включая официальные данные) · Время события 11-18 02:00 (пекинское время)
Обоснование
- Официальный журнал обновлений GitHub
Использование
- Установите расширение GitHub Copilot Evals в VS Code; установите плагин для Copilot CLI согласно инструкции; в приложении Copilot добавьте маркетплейс github/evals в разделе Customize и выполните установку
Риски
- Публичная предварительная версия, функциональность может измениться