zaxiu88888/issue-rag

issue-rag は、オープンソースリポジトリの Issue に対して検索拡張生成(RAG)による質問応答を行うプロジェクトです。vitejs/vite を対象に、95 件の人手による検証済み質問を用いて評価を実施しました(回答生成と採点の両方に deepseek-chat を使用)。著者によると、閉域設定での正答率は 8.4% で、最良の検索設定では 64.2% に向上しましたが、「捏造」と判定された割合も 1.1% から 20% へと増加しました。4 つの検索設定間の差は、採点器自体のノイズ範囲内に収まっています。採点器については、モデルの変更、同一モデルでの再実行、評価基準の変更、および 30 件の人手によるブラインド評価という 4 つの観点から監査が行われました。

issue-rag は、オープンソースリポジトリの Issue に対して検索拡張生成(RAG)による質問応答を行うプロジェクトです。vitejs/vite を対象に、95 件の人手による検証済み質問を用いて評価を実施しました(回答生成と採点の両方に deepseek-chat を使用)。著者によると、閉域設定での正答率は 8.4% で、最良の検索設定では 64.2% に向上しましたが、「捏造」と判定された割合も 1.1% から 20% へと増加しました。4 つの検索設定間の差は、採点器自体のノイズ範囲内に収まっています。採点器については、モデルの変更、同一モデルでの再実行、評価基準の変更、および 30 件の人手によるブラインド評価という 4 つの観点から監査が行われました。

なぜ重要か RAG を手掛ける人々にとって、再現可能な評価テンプレートを提供します。検索は精度を向上させる一方で、「わからない」を「自信を持って誤答する」に変えてしまうリスクもあります。

スター数 250(+49 / 24 時間)

理由

  • 24 時間で新たに 49 スターを獲得(これは注目度を示すに過ぎません)
  • 全 95 件の評価質問、メンテナによる参考回答、2 つのシステムの回答および判定結果がオンラインの結果ページに掲載されており、検索やフィルタリングが可能です

使い方

  • pip install -e ".\[models,dev\]" を実行した後、Quickstart に従って Issue とコメントを取得し、コーパスを構築して評価を実行します。GITHUB_TOKEN を設定すると取得速度が向上する場合があります

リスク

  • 検索は英語のみをサポートしており、中国語で質問するとノイズを検索してしまう可能性があります。これは著者によって既知の制限事項として記載されています
  • 単一のリポジトリでのみ評価が行われており、結論が他のプロジェクトに一般化できるかは不明です

開く

GitHub

最新の AI ニュースを見る