SkillEvaluator состоит из трёх уровней: первый уровень проверяет безопасность, соответствие формату и совместимость с различными агентами, вызывая сканеры SkillSpector и Gitleaks; второй уровень использует векторы для обнаружения дублирующегося содержимого внутри навыков и между ними; третий уровень в песочнице заставляет агентов выполнять задачи с навыком и без него, сравнивая результаты. Первый уровень может работать полностью без моделей и API-ключей, получая 86.2 баллов на встроенных примерах; также можно использовать бесплатные лимиты NVIDIA Build для оценки с помощью моделей. Это часть процесса сертификации навыков NVIDIA, сопровождается статьёй на arXiv.
Почему это важно Навыков становится всё больше, но мало кто проверяет, действительно ли они помогают; этот инструмент объединяет статическую проверку, обнаружение дубликатов и контрольные эксперименты в песочнице в одну команду, которую можно интегрировать в CI.
Звёзды 1703 (+122 / 24 ч)
Причины
- За 24 часов добавлено 122 звёзд, всего звёзд 1703 (отражает только уровень внимания); лицензия Apache-2.0
- В README чётко описаны требования для каждого уровня (сканеры, модели, песочница Docker), уровни, которые невозможно выполнить, помечаются как незавершённые
Использование
- После установки
pip install skillevaluatorвыполнитеskillevaluator validate ./my-skill --tiers 1для проверки без ключей; в репозитории GitHub выполнитеskillevaluator ci init, чтобы автоматически создать PR с интеграцией в CI
Риски
- Третий уровень требует сервисов моделей, поддерживаемых агентов и песочницы Docker; оценка с помощью моделей отправляет документацию навыка выбранному сервису моделей