zaxiu88888/issue-rag

issue-rag est un projet de question-réponse avec augmentation par récupération (RAG) appliqué aux issues de dépôts open source. Il est évalué sur vitejs/vite à l'aide de 95 questions vérifiées manuellement (la génération et la notation utilisent toutes deux deepseek-chat). L'auteur indique un taux de réussite en mode fermé de 8.4%, atteignant 64.2% avec la meilleure configuration de récupération, mais la proportion de réponses jugées hallucinées augmente également de 1.1% à 20% ; les écarts entre les quatre configurations de récupération se situent dans la plage de bruit inhérente au système de notation. Le système de notation a été audité selon quatre axes : changement de modèle, réexécution avec le même modèle, modification des critères de notation et 30 évaluations humaines en aveugle.

issue-rag est un projet de question-réponse avec augmentation par récupération (RAG) appliqué aux issues de dépôts open source. Il est évalué sur vitejs/vite à l'aide de 95 questions vérifiées manuellement (la génération et la notation utilisent toutes deux deepseek-chat). L'auteur indique un taux de réussite en mode fermé de 8.4%, atteignant 64.2% avec la meilleure configuration de récupération, mais la proportion de réponses jugées hallucinées augmente également de 1.1% à 20% ; les écarts entre les quatre configurations de récupération se situent dans la plage de bruit inhérente au système de notation. Le système de notation a été audité selon quatre axes : changement de modèle, réexécution avec le même modèle, modification des critères de notation et 30 évaluations humaines en aveugle.

Pourquoi c'est important Offre aux praticiens du RAG un modèle d'évaluation reproductible : la récupération peut améliorer la précision, mais elle transforme aussi le « je ne sais pas » en « réponse incorrecte donnée avec assurance ».

Nombre d'étoiles 250 (+49 / 24h)

Raisons

  • 49 nouvelles étoiles en 24 heures (indique uniquement le niveau d'attention)
  • Toutes les 95 questions d'évaluation, les réponses de référence des mainteneurs, les réponses des deux systèmes et les verdicts sont disponibles sur la page de résultats en ligne, avec recherche et filtres

Utilisation

  • Après pip install -e ".\[models,dev\]", suivez le guide de démarrage rapide pour récupérer les issues et les commentaires, construire le corpus et lancer l'évaluation ; définir GITHUB\_TOKEN permet d'accélérer la récupération

Risques

  • La récupération ne prend en charge que l'anglais ; poser des questions en chinois introduit du bruit dans la récupération, ce que l'auteur a mentionné dans les limites connues
  • L'évaluation ne porte que sur un seul dépôt ; il est inconnu si les conclusions sont généralisables à d'autres projets

Ouvrir

GitHub

Parcourir les dernières actualités IA