Ai2(앨런 인공지능 연구소)가 논문 《Old Ideas, Novel Problems》와 관련 벤치마크를 발표함: ICLR 2026 심사 의견을 사용하여 참신도가 높거나 낮은 연구 아이디어 집합을 구성하고, 6개의 GPT 및 Claude 모델을 '참신도 평가자'로 신뢰성을 테스트한 결과, 프롬프트의 몇 글자만 변경해도 판단이 크게 뒤집히는 현상을 발견함.
신뢰도: 높음(80) · 이벤트 시간 2026-10-27
이유
- 가장 극단적인 예시: 동일한 '인간 아이디어 vs AI 생성 아이디어' 쌍에 대해, GPT-5.4가 더 간단한 질문 방식으로 변경했을 때 정확도가 93.5%에서 40.9%으로 하락하여 무작위 추측보다 낮아졌으며, 절반 이상의 쌍에서 판단이 변경됨.
- 검색 및 추론 추가가 반드시 정확도를 높이지는 않음: GPT-5.6 Sol에 초고추론 모드를 활성화하고 arXiv 실시간 검색을 연결했을 때 macro-F1 점수는 0.78로, 단순 프롬프트를 사용한 Claude Opus 4.6(0.89)보다 11점 낮았으며, 각 판단의 비용은 약 10배 더 높음.
- 전용 참신도 평가 시스템도 승리하지 못함: Claude Opus 4.6 저추론 모드 + 3회 투표로 0.854점을 획득했으며 총 비용은 2.59달러; Idea Novelty Checker는 0.642점(30.66달러), Sakana AI Scientist의 평가기는 0.772점(82.05달러)을 기록함.
- 자동화된 과학 연구 시스템이 AI가 생성한 아이디어에 대해 다른 모델로 참신도 점수를 매기는 경우가 늘어나고 있는데, 이 연구는 이러한 점수가 평가 설정에 따라 쉽게 좌우될 수 있음을 보여줌.
활용법
- 논문은 arXiv 2610.02022에 있으며, 벤치마크 데이터는 Hugging Face의 allenai/novelty-judge-bench, 코드는 GitHub의 allenai/novelty-eval에 있고, 새로운 심사 의견을 사용하여 평가 집합을 재구성할 수 있는 파이프라인이 포함되어 있음.
- 직접 LLM을 평가자로 사용할 경우, 논문의 방법론을 따라 여러 가지 프롬프트를 시도하여 판단이 뒤집히는지를 확인한 후 신뢰 여부를 결정할 수 있음.
리스크
- 주로 GPT-5.x 및 Claude 4.5 / 4.6 등 비교적 이전 모델들을 테스트했으며, 이 결론이 최신 모델에도 적용되는지는 불명확함.
- 'AI 생성 아이디어는 인간 아이디어보다 참신도가 낮다'는 저자가 설정한 약한 라벨임; Ai2 블로그만 읽었고 논문 전문은 읽지 않음.