我们能相信大模型来判断研究想法是否新颖吗？
Ai2发布了一项研究、基准和代码，表明用大模型判断研究想法新颖性时结论不稳定：在一项测试中，提示词的微小改动使准确率变化超过50个百分点。引入检索和额外推理也未能稳定提升结果。
文章要点
2026年10月27日，Ai2发布了《Old Ideas, Novel Problems》，研究大语言模型判断科研想法新颖性的可靠程度。发布内容包括论文、基准、数据、代码，以及用于构建新评测集的自动化流程。Ai2指出，这类新颖性评判模型常只在人类撰写的论文上验证，却越来越多地被用来评估AI生成的想法。
该基准基于ICLR 2026的同行评审，包含154个高新颖性和145个较低新颖性的人类想法。在测试的六个评判模型中，提示词措辞的小改动就会大幅改变结论：GPT-5.4在人类与生成想法配对上的准确率从93.5%降到40.9%。增加检索和推理并不总能带来改进，两个专门构建的评估器表现也不如简单提示的Claude Opus 4.6。Ai2的结论是，基于LLM的新颖性评估仍是未解难题；此次发布不涉及产品变化。
本摘要由 AnnuIA 根据 Hugging Face 官方页面用自己的话撰写。内容及版权归发布方所有，请阅读原文。