issue-rag 是一个对开源仓库 issue 做检索增强问答的项目,在 vitejs/vite 上用 95 条人工复核的问题评测(生成和判分都用 deepseek-chat)。作者称闭卷答对 8.4%,最好的检索配置 64.2%,但被判为编造的比例也从 1.1% 升到 20%;四种检索配置之间的差距落在判分器自身的噪声范围内。判分器从换模型、同模型重跑、换评分标准和 30 条人工盲评四个方向做了审计。
为什么重要 给做 RAG 的人一个可复跑的评测样板:检索能提准确率,也会把“不知道”变成“自信地答错”。
星数 250(+49 / 24h)
理由
- 24 小时新增 49 星(只代表关注度)
- 全部 95 条评测的问题、维护者参考答案、两个系统的回答和判定都放在在线结果页,可搜索筛选
用法
- pip install -e ".[models,dev]" 后按 Quickstart 抓取 issue 和评论、建语料、跑评测;设 GITHUB_TOKEN 可提高抓取速度
风险
- 检索只支持英文,用中文提问会检索到噪声,作者已写进局限
- 只在一个仓库上评测,结论能否推广到其他项目未知