SkillEvaluator được chia thành ba lớp: Lớp đầu tiên kiểm tra xem kỹ năng có an toàn, tuân thủ định dạng và tương thích với các tác nhân AI khác nhau hay không, đồng thời gọi SkillSpector và Gitleaks để quét; lớp thứ hai sử dụng vector để phát hiện nội dung trùng lặp bên trong từng kỹ năng cũng như giữa các kỹ năng với nhau; lớp thứ ba cho phép các tác nhân thực hiện nhiệm vụ trong môi trường sandbox, một lần có kèm theo kỹ năng và một lần không kèm, sau đó so sánh kết quả. Lớp đầu tiên hoàn toàn không cần mô hình hay API Key, đi kèm ví dụ mẫu đạt 86.2 điểm; cũng có thể sử dụng hạn mức miễn phí của NVIDIA Build để chạy đánh giá bằng mô hình. Đây là một phần trong quy trình chứng nhận kỹ năng của NVIDIA, kèm theo bài báo trên arXiv.
Tại sao quan trọng Số lượng kỹ năng được cài đặt ngày càng tăng, nhưng hiếm khi có ai kiểm chứng xem chúng thực sự hữu ích hay không; công cụ này tích hợp kiểm tra tĩnh, phát hiện trùng lặp và thí nghiệm đối chứng trong sandbox thành một lệnh duy nhất, đồng thời có thể tích hợp vào CI.
Số sao 1703 (+122 / 24h)
Lý do
- Tăng 122 sao trong 24 giờ, tổng số sao 1703 (chỉ phản ánh mức độ quan tâm); giấy phép Apache-2.0
- README ghi rõ các điều kiện cần thiết cho từng lớp (công cụ quét, mô hình, sandbox Docker), các lớp không thể chạy sẽ được đánh dấu là chưa hoàn thành
Cách sử dụng
- Sau khi pip install skillevaluator, chạy skillevaluator validate ./my-skill --tiers 1 để thực hiện kiểm tra không cần Key; trong kho lưu trữ GitHub, chạy skillevaluator ci init để tự động mở một PR tích hợp CI
Rủi ro
- Lớp thứ ba yêu cầu dịch vụ mô hình, các tác nhân được hỗ trợ và sandbox Docker; việc đánh giá bằng mô hình sẽ gửi tài liệu kỹ năng đến dịch vụ mô hình đã chọn