Можно ли доверять LLM в оценке новизны исследовательской идеи?
Ai2 публикует исследование, бенчмарк и код: LLM, оценивающие новизну исследовательских идей, выносят нестабильные вердикты — небольшие изменения запроса меняли точность более чем на 50 пунктов в одном тесте. Поиск источников и доп. рассуждения не улучшали результат надёжно.
О чём статья
27 октября 2026 года Ai2 опубликовала «Old Ideas, Novel Problems» — исследование того, насколько надёжно языковые модели оценивают новизну научных идей. В релиз входят статья, бенчмарк, данные, код и автоматический конвейер для создания новых наборов оценки. Ai2 отмечает, что такие «судьи новизны» часто проверяют лишь на работах людей, хотя их всё чаще применяют к идеям, созданным ИИ.
Бенчмарк построен на рецензиях ICLR 2026: 154 человеческие идеи с высокой новизной и 145 с меньшей. У шести протестированных судей небольшие изменения формулировки промпта сильно меняют вердикты: точность GPT-5.4 на смешанных парах «человек/ИИ» упала с 93,5 % до 40,9 %. Больше поиск�� и рассуждений не всегда помогает, а два специализированных оценщика уступили простому промпту на Claude Opus 4.6. Ai2 делает вывод, что автоматическая оценка новизны остаётся открытой проблемой; продукты не меняются.
Читать официальную статью Карточка AnnuIA
Краткое изложение написано AnnuIA своими словами по официальной странице Hugging Face. Содержание и права принадлежат издателю: читайте оригинальную статью.