研究アイデアが新しいかどうかの判断をLLMに任せてよいのか
Ai2は、研究アイデアの新規性を判定するLLMの結果が不安定であることを示す研究、ベンチマーク、コードを公開した。あるテストでは、プロンプトの小さな変更で精度が50ポイント以上変動した。検索の追加や追加の推論も、結果を確実には改善しなかった。
記事の内容
2026年10月27日、Ai2は、LLMが研究アイデアの新規性をどの程度確実に判定できるかを調べた研究「Old Ideas, Novel Problems」を公開した。論文、ベンチマーク、データ、コード、新しい評価セットを作る自動パイプラインが含まれる。Ai2は、こうした新規性の判定役が人間の論文でしか検証されないことが多い一方、AI生成のアイデア評価に使われる機会が増えていると指摘する。
ベンチマークはICLR 2026の査読に基づき、新規性の高い人間のアイデア154件と低い145件で構成される。6つの判定モデルを試したところ、プロンプトの文言を少し変えるだけで判定が大きく変わり、人間と生成のペアでのGPT-5.4の精度は93.5%から40.9%に低下した。検索や推論を増やしても確実には改善せず、専用の評価器2つは単純なClaude Opus 4.6のプロンプトに及ばなかった。Ai2は、新規性の自動評価は未解決の問題だと結論づけている。製品の変更はない。
この要約は、Hugging Face の公式ページをもとに AnnuIA が自分の言葉で作成しました。内容および権利は発行元に帰属します。元の記事をご覧ください。