¿Podemos confiar en los LLM para juzgar si una idea de investigación es novedosa?
Ai2 publica un estudio, un benchmark y código que muestran que los LLM que juzgan la novedad de ideas de investigación dan veredictos inestables: pequeños cambios en el prompt variaron la precisión en más de 50 puntos en una prueba. La recuperación de documentos y el razonamiento adicional no mejoraron los resultados de forma fiable.
Qué dice el artículo
El 27 de octubre de 2026, Ai2 publicó «Old Ideas, Novel Problems», un estudio sobre la fiabilidad con la que los LLM juzgan la novedad de ideas de investigación. Incluye un artículo, un benchmark, datos, código y un pipeline automatizado para crear nuevos conjuntos de evaluación. Ai2 señala que estos jueces de novedad suelen validarse solo con artículos humanos, aunque cada vez se usan para evaluar ideas generadas por IA.
El benchmark se basa en revisiones de ICLR 2026, con 154 ideas humanas de alta novedad y 145 de menor novedad. Con seis jueces probados, pequeños cambios en la redacción del prompt alteran mucho los veredictos: la precisión de GPT-5.4 en pares mixtos humano/generado pasó de 93,5 % a 40,9 %. Más búsqueda y razonamiento no ayudaron de forma fiable, y dos evaluadores especializados rindieron menos que un simple prompt con Claude Opus 4.6. Ai2 concluye que la evaluación automática de novedad sigue siendo un problema abierto; no cambia ningún producto.
Leer el artículo oficial Ficha AnnuIA
Resumen redactado por AnnuIA con sus propias palabras a partir de la página oficial de Hugging Face. El contenido y los derechos pertenecen al editor: consulte el artículo original.