Институт Allen Institute for AI (Ai2) опубликовал статью «Old Ideas, Novel Problems» и сопутствующий бенчмарк: используя рецензии ICLR 2026, исследователи сформировали набор идей с высокой и низкой новизной, чтобы проверить надежность шести моделей GPT и Claude в роли «судей по новизне». Выяснилось, что изменение нескольких слов в промпте может кардинально изменить результат оценки.
Уверенность: высокая (80) · Дата события 2026-10-27
Обоснование
- Самый яркий пример: для одной и той же пары «идеи, созданные человеком, против идей, сгенерированных ИИ», после изменения формулировки вопроса на более простую точность модели GPT-5.4 упала с 93.5% до 40.9%, что ниже уровня случайного угадывания; при этом более половины пар получили измененную оценку.
- Добавление поиска и рассуждений не всегда повышает точность: для модели GPT-5.6 Sol с включенным режимом сверхвысокого уровня рассуждений и подключением к реальному времени arXiv значение macro-F1 составило 0.78, что на 11 пункта ниже, чем у Claude Opus 4.6 (0.89) с простым промптом, при этом стоимость каждого решения примерно в 10 раз выше.
- Специализированные системы оценки новизны также не показали лучших результатов: Claude Opus 4.6 с низким уровнем рассуждений и тройным голосованием получил оценку 0.854 при общей стоимости 2.59 долларов; Idea Novelty Checker получил 0.642 (30.66 долларов), а оценщик Sakana AI Scientist — 0.772 (82.05 долларов).
- Автоматизированные научные системы все чаще используют другую модель для оценки новизны идей, предложенных ИИ. Данное исследование показывает, что такие оценки сильно зависят от настроек тестирования.
Применение
- Статья доступна на arXiv 2610.02022; данные бенчмарка находятся на Hugging Face в разделе allenai/novelty-judge-bench, код — на GitHub в репозитории allenai/novelty-eval. Прилагается конвейер для пересборки набора данных для оценки с использованием новых рецензий.
- Если вы используете LLM в качестве судьи, можно последовать методике из статьи и попробовать несколько вариантов промптов, чтобы проверить, меняются ли решения, прежде чем доверять результатам.
Риски
- В основном тестировались более ранние модели, такие как GPT-5.x и Claude 4.5 / 4.6; неизвестно, распространяются ли выводы на самые новые модели.
- Утверждение «идеи, сгенерированные ИИ, менее новы, чем идеи людей» является слабым ярлыком, установленным авторами; было прочитано только сообщение в блоге Ai2, полный текст статьи не изучался.