Tiêu đề gốc: GitHub Copilot Evals hiện đã có bản xem trước công khai
GitHub đã ra mắt bản xem trước công khai của Copilot Evals vào ngày 17 tháng 11: sử dụng ngôn ngữ tự nhiên hoặc lệnh /eval để tạo các bài đánh giá cho các kỹ năng, tác nhân tùy chỉnh hoặc công cụ MCP trong dự án, cung cấp cho tác nhân một nhiệm vụ thực tế và nêu rõ tiêu chí về kết quả tốt, đồng thời kiểm tra cả kết quả lẫn quy trình. Mỗi lần chạy đều cần sự phê duyệt của người dùng trước khi bắt đầu, cho phép xem những bài kiểm tra nào thất bại, lý do là gì, và so sánh kết quả trước và sau các thay đổi tùy chỉnh. Công cụ đánh giá là Vally, một công cụ đánh giá cục bộ, hỗ trợ tiện ích mở rộng VS Code, plugin Copilot CLI và plugin ứng dụng Copilot, dành cho các gói cá nhân, Business và Enterprise.
Tại sao quan trọng Sau khi thay đổi lời nhắc (prompt), kỹ năng hoặc công cụ, bạn có thể sử dụng cùng một bộ bài kiểm tra để xác nhận xem hiệu suất có bị suy giảm hay không, thay vì chỉ dựa vào câu trả lời của một lần chạy duy nhất.
Độ tin cậy: Cao · Nguồn Nhật ký cập nhật GitHub (bao gồm nguồn chính thức) · Thời gian sự kiện 02:00 11-18 (giờ Bắc Kinh)
Lý do
- Nhật ký cập nhật chính thức của GitHub
Cách sử dụng
- Cài đặt tiện ích mở rộng GitHub Copilot Evals trong VS Code; cài plugin theo hướng dẫn cho Copilot CLI; thêm thị trường github/evals vào mục Customize trong ứng dụng Copilot rồi tiến hành cài đặt
Rủi ro
- Đang ở giai đoạn xem trước công khai, các tính năng có thể thay đổi