GitHub Copilot Evals が公開プレビュー、独自のスキルや MCP をテスト可能

GitHub は 11 月 17 日に Copilot Evals の公開プレビューを開始しました。自然言語または /eval コマンドを使用して、プロジェクト内のスキル、カスタムエージェント、または MCP ツールに対する評価を作成できます。エージェントに実際のタスクを与え、良好な結果の基準を明記し、結果とプロセスの両方をチェックします。各実行の前にはユーザーの承認が必要であり、どのチェックが失敗したか、その理由を確認し、カスタマイズ変更前後の結果を比較できます。評価エンジンはローカル評価ツールである Vally で、VS Code 拡張機能、Copilot CLI プラグイン、および Copilot アプリケーションプラグインをサポートし、個人用、Business、Enterprise の各プラン向けに提供されています。

原題:GitHub Copilot Evals が公開プレビューで利用可能に

GitHub は 11 月 17 日に Copilot Evals の公開プレビューを開始しました。自然言語または /eval コマンドを使用して、プロジェクト内のスキル、カスタムエージェント、または MCP ツールに対する評価を作成できます。エージェントに実際のタスクを与え、良好な結果の基準を明記し、結果とプロセスの両方をチェックします。各実行の前にはユーザーの承認が必要であり、どのチェックが失敗したか、その理由を確認し、カスタマイズ変更前後の結果を比較できます。評価エンジンはローカル評価ツールである Vally で、VS Code 拡張機能、Copilot CLI プラグイン、および Copilot アプリケーションプラグインをサポートし、個人用、Business、Enterprise の各プラン向けに提供されています。

なぜ重要か プロンプト、スキル、またはツールを変更した後、単一の回答に基づいて判断するのではなく、同じテストセットを使用して効果が低下していないことを確認できます。

信頼性:高信頼 · 出典 GitHub 更新ログ(公式含む) · イベント日時 11-18 02:00(北京時間)

理由

  • GitHub 公式更新ログ

使い方

  • VS Code に GitHub Copilot Evals 拡張機能をインストールします。Copilot CLI は説明に従ってプラグインをインストールします。Copilot アプリケーションでは、Customize で github/evals マーケットプレースを追加してからインストールします。

リスク

  • 公開プレビューのため、機能が変更される可能性があります

開く

GitHub Copilot 更新

最新の AI ニュースを見る