SkillEvaluator se compose de trois niveaux : le premier vérifie la sécurité des compétences, la conformité du format et la compatibilité avec les différents agents, en utilisant SkillSpector et Gitleaks pour les analyses ; le deuxième utilise des vecteurs pour détecter les doublons au sein des compétences et entre elles ; le troisième permet aux agents d'accomplir des tâches dans un bac à sable, avec et sans compétence, afin de comparer les résultats. Le premier niveau peut fonctionner entièrement sans modèle ni clé API, en obtenant un score de 86.2 grâce aux exemples fournis ; il est également possible d'utiliser le quota gratuit de NVIDIA Build pour effectuer une évaluation par modèle. Il fait partie du processus de certification des compétences de NVIDIA et est accompagné d'un article arXiv.
Pourquoi c'est important Les compétences s'accumulent, mais peu de gens vérifient si elles sont réellement utiles ; cet outil regroupe les vérifications statiques, la détection de doublons et les expériences comparatives en bac à sable en une seule commande, et peut être intégré au CI.
Nombre d'étoiles 1703 (+122 / 24h)
Raisons
- 122 nouvelles étoiles en 24 heures, total de 1703 étoiles (indiquant uniquement l'attention portée) ; licence Apache-2.0
- Le README précise les conditions requises pour chaque niveau (analyseurs, modèles, bac à sable Docker), et les niveaux non exécutables sont marqués comme incomplets
Utilisation
- Après pip install skillevaluator, exécutez skillevaluator validate ./my-skill --tiers 1 pour effectuer des vérifications sans clé ; dans un dépôt GitHub, exécutez skillevaluator ci init pour ouvrir automatiquement une PR intégrant le CI
Risques
- Le troisième niveau nécessite un service de modèle, des agents pris en charge et un bac à sable Docker ; l'évaluation par modèle enverra la documentation de la compétence au service de modèle sélectionné