Titre original : GitHub Copilot Evals is now in public preview
GitHub a lancé l'aperçu public de Copilot Evals le 11 17 : créez des évaluations pour les compétences, les agents personnalisés ou les outils MCP de votre projet en utilisant le langage naturel ou la commande /eval, donnez à l'agent une tâche réelle et définissez les critères d'un bon résultat, tout en vérifiant les résultats et le processus. Une approbation de l'utilisateur est requise avant chaque exécution ; vous pouvez consulter les vérifications échouées, leurs causes, et comparer les résultats avant et après les modifications personnalisées. Le moteur d'évaluation est l'outil d'évaluation local Vally, compatible avec l'extension VS Code, le plugin Copilot CLI et le plugin de l'application Copilot, destiné aux offres Individuel, Business et Enterprise.
Pourquoi c'est important Après avoir modifié des prompts, des compétences ou des outils, vous pouvez utiliser le même ensemble de tests pour confirmer que les performances n'ont pas régressé, plutôt que de vous fier à une seule réponse.
Fiabilité : Haute fiabilité · Source : Journal des mises à jour de GitHub (officiel) · Date de l'événement : 11-18 02:00 (heure de Pékin)
Raison
- Journal des mises à jour officiel de GitHub
Utilisation
- Installez l'extension GitHub Copilot Evals dans VS Code ; installez le plugin selon les instructions pour Copilot CLI ; dans l'application Copilot, ajoutez le marché github/evals dans l'onglet Personnaliser, puis installez-le
Risques
- Aperçu public, les fonctionnalités peuvent évoluer