Peut-on faire confiance aux LLM pour juger si une idée de recherche est nouvelle ?
Ai2 publie une étude, un benchmark et du code montrant que les LLM chargés de juger la nouveauté d'idées de recherche rendent des verdicts instables : de petits changements de consigne font varier la précision de plus de 50 points dans un test. La recherche documentaire et le raisonnement supplémentaire n'améliorent pas de façon fiable les résultats.
Ce que dit l'article
Le 27 octobre 2026, Ai2 publie « Old Ideas, Novel Problems », une étude sur la fiabilité avec laquelle des LLM jugent la nouveauté d'idées de recherche. La publication comprend un article, un benchmark, des données, du code et un pipeline automatisé pour construire de nouveaux jeux d'évaluation. Ai2 rappelle que ces « juges de nouveauté » sont souvent validés sur des articles humains, alors qu'on les emploie pour évaluer des idées générées par IA.
Le benchmark s'appuie sur les évaluations d'ICLR 2026, avec 154 idées humaines très originales et 145 moins originales. Sur six juges testés, de petits changements de formulation du prompt font varier fortement les verdicts : la précision de GPT-5.4 passe de 93,5 % à 40,9 % sur des paires mixtes humain/généré. Plus de recherche et de raisonnement n'aide pas toujours, et deux évaluateurs spécialisés font moins bien qu'un simple prompt sur Claude Opus 4.6. Ai2 conclut que le jugement automatique de nouveauté reste un problème ouvert ; aucun produit n'est modifié.
Lire l'article officiel Fiche AnnuIA
Résumé rédigé par AnnuIA avec ses propres mots, d'après la page officielle de Hugging Face. Le contenu et les droits appartiennent à l'éditeur : consultez l'article d'origine.