GitHub Copilot Evals 公开预览,可测自己的技能和 MCP

GitHub 11 月 17 日推出 Copilot Evals 公开预览:用自然语言或 /eval 命令为项目里的技能、自定义代理或 MCP 工具创建评测,给代理一个真实任务并写明好结果的标准,同时检查结果和过程。每次运行前需要用户批准,可以查看哪些检查失败、原因是什么,并对比定制改动前后的结果。评测引擎是本地评测工具 Vally,支持 VS Code 扩展、Copilot CLI 插件和 Copilot 应用插件,面向个人、Business 和 Enterprise 套餐。

原题:GitHub Copilot Evals is now in public preview

GitHub 11 月 17 日推出 Copilot Evals 公开预览:用自然语言或 /eval 命令为项目里的技能、自定义代理或 MCP 工具创建评测,给代理一个真实任务并写明好结果的标准,同时检查结果和过程。每次运行前需要用户批准,可以查看哪些检查失败、原因是什么,并对比定制改动前后的结果。评测引擎是本地评测工具 Vally,支持 VS Code 扩展、Copilot CLI 插件和 Copilot 应用插件,面向个人、Business 和 Enterprise 套餐。

为什么重要 改了提示词、技能或工具后,可以用同一组测试确认效果有没有退步,而不是凭一次回答判断。

可信度:高可信 · 来源 GitHub 更新日志(含官方) · 事件时间 11-18 02:00(北京时间)

理由

  • GitHub 官方更新日志

用法

  • VS Code 装 GitHub Copilot Evals 扩展;Copilot CLI 按说明装插件;Copilot 应用在 Customize 里添加 github/evals 市场后安装

风险

  • 公开预览,功能可能调整

打开

GitHub Copilot 更新

浏览最新 AI 动态