zaxiu88888/issue-rag

issue-rag — это проект по созданию системы вопросно-ответного поиска с дополненной генерацией (RAG) для задач (issues) в репозиториях с открытым исходным кодом. Оценка проводилась на репозитории vitejs/vite с использованием 95 вопросов, проверенных вручную (и генерация ответов, и оценка выполнялись с помощью deepseek-chat). Автор утверждает, что при закрытом режиме (без доступа к внешним данным) правильных ответов было 8.4%, а при лучшей конфигурации поиска — 64.2%, однако доля ответов, признанных вымышленными, также выросла с 1.1% до 20%; разница между четырьмя конфигурациями поиска находится в пределах уровня шума самой системы оценки. Система оценки была проверена по четырем направлениям: смена модели, повторный запуск с той же моделью, изменение критериев оценки и 30 слепых оценок, выполненных вручную.

issue-rag — это проект по созданию системы вопросно-ответного поиска с дополненной генерацией (RAG) для задач (issues) в репозиториях с открытым исходным кодом. Оценка проводилась на репозитории vitejs/vite с использованием 95 вопросов, проверенных вручную (и генерация ответов, и оценка выполнялись с помощью deepseek-chat). Автор утверждает, что при закрытом режиме (без доступа к внешним данным) правильных ответов было 8.4%, а при лучшей конфигурации поиска — 64.2%, однако доля ответов, признанных вымышленными, также выросла с 1.1% до 20%; разница между четырьмя конфигурациями поиска находится в пределах уровня шума самой системы оценки. Система оценки была проверена по четырем направлениям: смена модели, повторный запуск с той же моделью, изменение критериев оценки и 30 слепых оценок, выполненных вручную.

Почему это важно Для специалистов по RAG это предоставляет воспроизводимый шаблон оценки: поиск повышает точность, но также превращает «не знаю» в «уверенно неверный ответ».

Количество звезд 250 (+49 / 24 ч)

Причины

  • За 24 часов добавилось 49 звезд (отражает только уровень внимания)
  • Все 95 вопросов из набора для оценки, эталонные ответы мейнтейнеров, ответы двух систем и результаты оценки доступны на онлайн-странице результатов с возможностью поиска и фильтрации

Использование

  • После выполнения pip install -e ".[models,dev]" следуйте инструкциям Quickstart для сбора задач и комментариев, создания корпуса данных и запуска оценки; установка переменной GITHUB_TOKEN может ускорить сбор данных

Риски

  • Поиск поддерживает только английский язык; запросы на китайском языке приведут к поиску шума, что автор уже указал в разделе ограничений
  • Оценка проводилась только на одном репозитории; неизвестно, можно ли распространить выводы на другие проекты

Открыть

GitHub

Открыть последние новости ИИ