GitHub Copilot Evals 공개 프리뷰, 자체 스킬 및 MCP 테스트 가능

GitHub가 11월 17일에 Copilot Evals 공개 프리뷰를 출시했습니다. 자연어 또는 /eval 명령어를 사용하여 프로젝트 내의 스킬, 사용자 정의 에이전트 또는 MCP 도구에 대한 평가를 생성할 수 있습니다. 에이전트에게 실제 작업을 부여하고 좋은 결과의 기준을 명시하여 결과와 과정을 모두 검사합니다. 각 실행 전 사용자 승인이 필요하며, 어떤 검사가 실패했는지와 그 원인을 확인하고, 사용자 정의 변경 전후의 결과를 비교할 수 있습니다. 평가 엔진은 로컬 평가 도구인 Vally이며, VS Code 확장, Copilot CLI 플러그인 및 Copilot 앱 플러그인을 지원합니다. 개인, Business 및 Enterprise 요금제를 대상으로 합니다.

원제: GitHub Copilot Evals is now in public preview

GitHub가 11월 17일에 Copilot Evals 공개 프리뷰를 출시했습니다. 자연어 또는 /eval 명령어를 사용하여 프로젝트 내의 스킬, 사용자 정의 에이전트 또는 MCP 도구에 대한 평가를 생성할 수 있습니다. 에이전트에게 실제 작업을 부여하고 좋은 결과의 기준을 명시하여 결과와 과정을 모두 검사합니다. 각 실행 전 사용자 승인이 필요하며, 어떤 검사가 실패했는지와 그 원인을 확인하고, 사용자 정의 변경 전후의 결과를 비교할 수 있습니다. 평가 엔진은 로컬 평가 도구인 Vally이며, VS Code 확장, Copilot CLI 플러그인 및 Copilot 앱 플러그인을 지원합니다. 개인, Business 및 Enterprise 요금제를 대상으로 합니다.

왜 중요한가 프롬프트, 스킬 또는 도구를 수정한 후, 단일 응답으로 판단하는 대신 동일한 테스트 세트를 사용하여 성능 저하 여부를 확인할 수 있습니다.

신뢰도: 높음 · 출처 GitHub 업데이트 로그(공식 포함) · 이벤트 시간 11-18 02:00(베이징 시간)

이유

  • GitHub 공식 업데이트 로그

사용법

  • VS Code에 GitHub Copilot Evals 확장 설치; Copilot CLI는 설명에 따라 플러그인 설치; Copilot 앱은 Customize에서 github/evals 마켓플레이스를 추가한 후 설치

리스크

  • 공개 프리뷰이므로 기능이 변경될 수 있음

열기

GitHub Copilot 更新

최신 AI 소식 보기