Podemos confiar nos LLMs para julgar se uma ideia de pesquisa é inédita?
A Ai2 publica um estudo, um benchmark e código mostrando que LLMs que julgam a novidade de ideias de pesquisa dão veredictos instáveis: pequenas mudanças no prompt alteraram a precisão em mais de 50 pontos em um teste. Recuperação de documentos e raciocínio extra não melhoraram os resultados de forma confiável.
O que diz o artigo
Em 27 de outubro de 2026, a Ai2 publicou «Old Ideas, Novel Problems», um estudo sobre a confiabilidade com que LLMs julgam a novidade de ideias de pesquisa. O material inclui um artigo, um benchmark, dados, código e um pipeline automatizado para criar novos conjuntos de avaliação. A Ai2 observa que esses juízes de novidade costumam ser validados apenas em artigos humanos, embora sejam cada vez mais usados para avaliar ideias geradas por IA.
O benchmark se baseia em revisões do ICLR 2026, com 154 ideias humanas de alta novidade e 145 de menor novidade. Entre seis juízes testados, pequenas mudanças no texto do prompt alteraram muito os veredictos: a precisão do GPT-5.4 em pares mistos humano/gerado foi de 93,5% para 40,9%. Mais busca e raciocínio não ajudaram de forma confiável, e dois avaliadores especializados ficaram abaixo de um prompt simples com o Claude Opus 4.6. A Ai2 conclui que a avaliação automática de novidade segue em aberto; nenhum produto muda.
Ler o artigo oficial Ficha AnnuIA
Resumo escrito pela AnnuIA com suas próprias palavras, com base na página oficial de Hugging Face. O conteúdo e os direitos pertencem ao editor: consulte o artigo original.