issue-rag는 오픈소스 저장소의 이슈에 대해 검색 증강 생성(RAG) 기반 질의응답을 수행하는 프로젝트로, vitejs/vite 저장소에서 95개의 수작업으로 검증된 질문을 사용하여 평가되었습니다(생성과 채점 모두 deepseek-chat 모델 사용). 저자는 폐쇄형(closed-book) 설정에서 정답률이 8.4%라고 보고했으며, 최적의 검색 설정에서는 64.2%에 도달했지만, 환각(hallucination)으로 판정된 비율도 1.1%에서 20%로 증가했습니다. 네 가지 검색 설정 간의 성능 차이는 채점기 자체의 노이즈 범위 내에 있습니다. 채점기는 모델 교체, 동일 모델 재실행, 평가 기준 변경, 그리고 30건의 수작업 블라인드 평가라는 네 가지 관점에서 감사(audit)를 수행했습니다.
왜 중요한가 RAG 개발자를 위해 재실행 가능한 평가 템플릿을 제공합니다. 검색은 정확도를 높일 수 있지만, '모른다'는 답변을 '자신 있게 틀린 답변'으로 바꿀 수도 있습니다.
스타 수 250 (+49 / 24시간)
이유
- 24시간 동안 스타 49개 증가(관심도 지표임)
- 전체 95개 평가 질문, 유지보수자의 참조 답변, 두 시스템의 응답 및 판정 결과가 모두 검색 및 필터링이 가능한 온라인 결과 페이지에 공개되어 있음
사용법
pip install -e ".\[models,dev\]"실행 후 Quickstart 가이드에 따라 이슈 및 댓글 수집, 코퍼스 구축, 평가 실행.GITHUB\_TOKEN을 설정하면 수집 속도를 높일 수 있음
리스크
- 검색 기능은 영어만 지원하므로, 중국어로 질문할 경우 노이즈가 포함된 검색 결과가 나올 수 있으며, 저자는 이를 한계점으로 명시함
- 단일 저장소에서만 평가가 수행되어, 다른 프로젝트에도 결론이 일반화될 수 있을지는 불명확함