Ai2（艾伦人工智能研究所）发布论文《Old Ideas, Novel Problems》和配套基准：用 ICLR 2026 审稿意见构造高 / 低新颖度的研究想法集，测试六个 GPT、Claude 模型当“新颖度评委”的可靠性，发现提示词改几个字就能让判断大幅翻转。
置信度：高（80） · 事件时间 2026-10-27
理由
- 最极端的例子：同一批“人类想法 vs AI 生成想法”的配对，GPT-5.4 换一种更简单的问法后，准确率从 93.5% 跌到 40.9%，低于随机猜测，超过一半的配对改了判断。
- 加检索、加推理不一定更准：给 GPT-5.6 Sol 开超高推理档并接 arXiv 实时检索，macro-F1 为 0.78，比简单提示的 Claude Opus 4.6（0.89）低 11 分，每次判断的成本约高 10 倍。
- 专门的新颖度评估系统也没赢：Claude Opus 4.6 低推理 + 三次投票得 0.854、总成本 2.59 美元；Idea Novelty Checker 得 0.642（30.66 美元），Sakana AI Scientist 的评估器得 0.772（82.05 美元）。
- 自动科研系统越来越多地让另一个模型给 AI 想出的点子打新颖度分，这项研究说明这类分数很容易被评测设置左右。
用法
- 论文 arXiv 2610.02022；基准数据在 Hugging Face allenai/novelty-judge-bench，代码在 GitHub allenai/novelty-eval，附可用新审稿意见重建评测集的流水线。
- 自己用 LLM 当评委时，可以照论文做法换几种提示词，看判断会不会翻转，再决定能否采信。
风险
- 主要测试的是 GPT-5.x 和 Claude 4.5 / 4.6 等较早的模型，结论能否推到最新模型未知。
- “AI 生成的想法不如人类想法新颖”是作者设定的弱标签；只读了 Ai2 博客，没读论文全文。