issue-rag là một dự án hỏi đáp tăng cường truy xuất (RAG) dựa trên các issue của các kho lưu trữ mã nguồn mở, được đánh giá trên kho lưu trữ vitejs/vite với 95 câu hỏi đã được con người kiểm tra (cả việc tạo câu trả lời và chấm điểm đều sử dụng deepseek-chat). Tác giả cho biết tỷ lệ trả lời đúng khi không có tài liệu tham khảo (closed-book) là 8.4%, cấu hình truy xuất tốt nhất đạt 64.2%, nhưng tỷ lệ bị đánh giá là bịa đặt cũng tăng từ 1.1% lên 20%; sự khác biệt giữa bốn cấu hình truy xuất nằm trong phạm vi nhiễu của chính hệ thống chấm điểm. Hệ thống chấm điểm đã được kiểm toán theo bốn hướng: đổi mô hình, chạy lại với cùng mô hình, đổi tiêu chí chấm điểm và 30 lượt đánh giá mù bởi con người.
Tại sao quan trọng Cung cấp cho những người làm RAG một mẫu đánh giá có thể chạy lại: truy xuất có thể cải thiện độ chính xác, nhưng cũng biến "không biết" thành "trả lời sai một cách tự tin".
Số sao 250 (+49 / 24h)
Lý do
- 49 sao mới trong 24 giờ (chỉ phản ánh mức độ quan tâm)
- Tất cả 95 câu hỏi đánh giá, câu trả lời tham khảo từ người bảo trì, câu trả lời từ hai hệ thống và kết quả chấm điểm đều được đặt trên trang kết quả trực tuyến, có thể tìm kiếm và lọc
Cách sử dụng
- Sau khi chạy pip install -e ".[models,dev]", làm theo Quickstart để thu thập các issue và bình luận, xây dựng kho ngữ liệu và chạy đánh giá; thiết lập GITHUB_TOKEN có thể tăng tốc độ thu thập dữ liệu
Rủi ro
- Truy xuất chỉ hỗ trợ tiếng Anh, việc đặt câu hỏi bằng tiếng Trung sẽ truy xuất được nhiều dữ liệu nhiễu, tác giả đã ghi rõ điều này trong phần hạn chế
- Chỉ đánh giá trên một kho lưu trữ duy nhất, chưa rõ kết luận có thể khái quát hóa sang các dự án khác hay không