NVIDIA/SkillEvaluator

SkillEvaluator состоит из трёх уровней: первый уровень проверяет безопасность, соответствие формату и совместимость с различными агентами, вызывая сканеры SkillSpector и Gitleaks; второй уровень использует векторы для обнаружения дублирующегося содержимого внутри навыков и между ними; третий уровень в песочнице заставляет агентов выполнять задачи с навыком и без него, сравнивая результаты. Первый уровень может работать полностью без моделей и API-ключей, получая 86.2 баллов на встроенных примерах; также можно использовать бесплатные лимиты NVIDIA Build для оценки с помощью моделей. Это часть процесса сертификации навыков NVIDIA, сопровождается статьёй на arXiv.

SkillEvaluator состоит из трёх уровней: первый уровень проверяет безопасность, соответствие формату и совместимость с различными агентами, вызывая сканеры SkillSpector и Gitleaks; второй уровень использует векторы для обнаружения дублирующегося содержимого внутри навыков и между ними; третий уровень в песочнице заставляет агентов выполнять задачи с навыком и без него, сравнивая результаты. Первый уровень может работать полностью без моделей и API-ключей, получая 86.2 баллов на встроенных примерах; также можно использовать бесплатные лимиты NVIDIA Build для оценки с помощью моделей. Это часть процесса сертификации навыков NVIDIA, сопровождается статьёй на arXiv.

Почему это важно Навыков становится всё больше, но мало кто проверяет, действительно ли они помогают; этот инструмент объединяет статическую проверку, обнаружение дубликатов и контрольные эксперименты в песочнице в одну команду, которую можно интегрировать в CI.

Звёзды 1703 (+122 / 24 ч)

Причины

  • За 24 часов добавлено 122 звёзд, всего звёзд 1703 (отражает только уровень внимания); лицензия Apache-2.0
  • В README чётко описаны требования для каждого уровня (сканеры, модели, песочница Docker), уровни, которые невозможно выполнить, помечаются как незавершённые

Использование

  • После установки pip install skillevaluator выполните skillevaluator validate ./my-skill --tiers 1 для проверки без ключей; в репозитории GitHub выполните skillevaluator ci init, чтобы автоматически создать PR с интеграцией в CI

Риски

  • Третий уровень требует сервисов моделей, поддерживаемых агентов и песочницы Docker; оценка с помощью моделей отправляет документацию навыка выбранному сервису моделей

Открыть

Trendshift(GitHub Trending 快照)

Открыть последние новости ИИ