SkillEvaluator는 세 가지 계층으로 구성됩니다. 첫 번째 계층은 스킬의 안전성, 형식 규격 준수 여부 및 다양한 에이전트와의 호환성을 확인하며, SkillSpector와 Gitleaks를 호출하여 스캔을 수행합니다. 두 번째 계층은 벡터를 사용하여 스킬 내부 및 스킬 간의 중복 콘텐츠를 감지합니다. 세 번째 계층은 샌드박스 환경에서 에이전트가 스킬을 적용한 상태와 적용하지 않은 상태로 작업을 완료하도록 한 후 결과를 비교합니다. 첫 번째 계층은 모델이나 API 키 없이 완전히 실행할 수 있으며, 포함된 예제를 통해 86.2점을 받을 수 있습니다. 또한 NVIDIA Build의 무료 크레딧을 사용하여 모델 기반 평가를 실행할 수도 있습니다. 이는 NVIDIA 인증 스킬 프로세스의 일부이며, arXiv 논문이 첨부되어 있습니다.
왜 중요한가 스킬 설치가 점점 늘어나고 있지만, 실제로 도움이 되는지 검증하는 경우는 드뭅니다. 이 도구는 정적 검사, 중복 감지 및 샌드박스 내 대조 실험을 하나의 명령어로 통합했으며, CI(지속적 통합)에 연결할 수도 있습니다.
스타 수 1703 (+122 / 24시간)
이유
- 24시간 동안 스타가 122개 증가하여 총 스타 수는 1703개입니다(이는 관심도를 나타냅니다). Apache-2.0 라이선스 적용
- README에 각 계층에 필요한 조건(스캐너, 모델, Docker 샌드박스)이 명확히 기재되어 있으며, 실행할 수 없는 계층은 미완료로 표시됩니다.
사용법
- pip install skillevaluator 설치 후 skillevaluator validate ./my-skill --tiers 1를 실행하여 키 없이 검사를 수행합니다. GitHub 저장소에서 skillevaluator ci init을 실행하면 CI 연동 PR이 자동으로 생성됩니다.
리스크
- 세 번째 계층은 모델 서비스, 지원되는 에이전트 및 Docker 샌드박스가 필요합니다. 모델 평가 시 스킬 문서가 선택된 모델 서비스로 전송됩니다.