原题:GitHub Copilot Evals is now in public preview
GitHub 11 月 17 日推出 Copilot Evals 公开预览:用自然语言或 /eval 命令为项目里的技能、自定义代理或 MCP 工具创建评测,给代理一个真实任务并写明好结果的标准,同时检查结果和过程。每次运行前需要用户批准,可以查看哪些检查失败、原因是什么,并对比定制改动前后的结果。评测引擎是本地评测工具 Vally,支持 VS Code 扩展、Copilot CLI 插件和 Copilot 应用插件,面向个人、Business 和 Enterprise 套餐。
为什么重要 改了提示词、技能或工具后,可以用同一组测试确认效果有没有退步,而不是凭一次回答判断。
可信度:高可信 · 来源 GitHub 更新日志(含官方) · 事件时间 11-18 02:00(北京时间)
理由
- GitHub 官方更新日志
用法
- VS Code 装 GitHub Copilot Evals 扩展;Copilot CLI 按说明装插件;Copilot 应用在 Customize 里添加 github/evals 市场后安装
风险
- 公开预览,功能可能调整