Ai2（Allen Institute for AI）が論文『Old Ideas, Novel Problems』と関連するベンチマークを発表：ICLR 2026 の査読意見を用いて、新規性の高い／低い研究アイデアのセットを構築し、6つのGPTおよびClaudeモデルを「新規性審査員」としての信頼性をテストした結果、プロンプトをわずかに変更するだけで判断が大きく覆ることが判明した。
信頼度：高（80） · イベント日時 2026-10-27
理由
- 最も極端な例：同じ「人間のアイデア vs AI生成アイデア」のペアにおいて、GPT-5.4 に質問の仕方をよりシンプルな形式に変えさせたところ、正答率が 93.5% から 40.9% に低下し、ランダム推測を下回った。また、半数以上のペアで判断が変更された。
- 検索機能や推論機能の追加が必ずしも精度向上につながらない：GPT-5.6 Sol に超高推論モードを有効化し、arXivのリアルタイム検索を接続した場合、macro-F1 は 0.78 となり、シンプルなプロンプトを用いた Claude Opus 4.6（0.89）より 11 ポイント低く、1回の判断あたりのコストは約 10 倍高かった。
- 専用設計の新規性評価システムでも優位性は見られなかった：Claude Opus 4.6 の低推論モード＋3回投票で 0.854、総コスト 2.59 ドル；Idea Novelty Checker で 0.642（30.66 ドル）、Sakana AI Scientist の評価器で 0.772（82.05 ドル）。
- 自動科学研究システムでは、AIが考案したアイデアの新規性を別のモデルに採点させるケースが増えているが、本研究はこうしたスコアが評価設定の影響を大きく受けやすいことを示している。
利用方法
- 論文は arXiv 2610.02022；ベンチマークデータは Hugging Face の allenai/novelty-judge-bench、コードは GitHub の allenai/novelty-eval に公開されており、新しい査読意見を用いて評価セットを再構築するためのパイプラインも含まれている。
- 自分でLLMを審査員として使う際は、論文のアプローチに従って複数のプロンプトを試し、判断が覆らないかを確認してから、結果を信頼できるかどうかを判断するとよい。
リスク
- 主にテストされたのは GPT-5.x や Claude 4.5 / 4.6 などのやや古いモデルであり、結論が最新のモデルにも適用できるかは不明である。
- 「AI生成のアイデアは人間のアイデアより新規性が低い」というのは著者が設定した弱いラベルである；Ai2 のブログ記事のみを参照し、論文全文は読んでいない。