issue-rag — это проект по созданию системы вопросно-ответного поиска с дополненной генерацией (RAG) для задач (issues) в репозиториях с открытым исходным кодом. Оценка проводилась на репозитории vitejs/vite с использованием 95 вопросов, проверенных вручную (и генерация ответов, и оценка выполнялись с помощью deepseek-chat). Автор утверждает, что при закрытом режиме (без доступа к внешним данным) правильных ответов было 8.4%, а при лучшей конфигурации поиска — 64.2%, однако доля ответов, признанных вымышленными, также выросла с 1.1% до 20%; разница между четырьмя конфигурациями поиска находится в пределах уровня шума самой системы оценки. Система оценки была проверена по четырем направлениям: смена модели, повторный запуск с той же моделью, изменение критериев оценки и 30 слепых оценок, выполненных вручную.
Почему это важно Для специалистов по RAG это предоставляет воспроизводимый шаблон оценки: поиск повышает точность, но также превращает «не знаю» в «уверенно неверный ответ».
Количество звезд 250 (+49 / 24 ч)
Причины
- За 24 часов добавилось 49 звезд (отражает только уровень внимания)
- Все 95 вопросов из набора для оценки, эталонные ответы мейнтейнеров, ответы двух систем и результаты оценки доступны на онлайн-странице результатов с возможностью поиска и фильтрации
Использование
- После выполнения pip install -e ".[models,dev]" следуйте инструкциям Quickstart для сбора задач и комментариев, создания корпуса данных и запуска оценки; установка переменной GITHUB_TOKEN может ускорить сбор данных
Риски
- Поиск поддерживает только английский язык; запросы на китайском языке приведут к поиску шума, что автор уже указал в разделе ограничений
- Оценка проводилась только на одном репозитории; неизвестно, можно ли распространить выводы на другие проекты