StateBench: testando como os modelos de linguagem acompanham mudanças de estado em documentos longos
Uma publicação do blog da Hugging Face sobre o StateBench, que testa como os modelos de linguagem acompanham mudanças de estado em documentos longos.
O que diz o artigo
A Ai2 apresenta o StateBench, um benchmark que testa como os modelos de linguagem acompanham entidades cujo estado muda em documentos longos (até 64 000 tokens), em quatro níveis de dificuldade, de problemas R-triviais a problemas finitos gerais. Os modelos pré-treinados resolvem o nível mais fácil, perdem precisão nos aperiódicos e ficam ao nível do acaso nos gerais. Os modelos de ponta também caem bastante à medida que a entrada cresce, para 13 % ou menos nos problemas gerais mais longos. O Gated DeltaNet e os modelos híbridos treinados diretamente na tarefa generalizam muito melhor do que os transformers, que nunca aprenderam a classe mais difícil. Publicado a 3 de novembro de 2026 no Hugging Face.
Ler o artigo oficial Ficha AnnuIA
Resumo escrito pela AnnuIA com suas próprias palavras, com base na página oficial de Hugging Face. O conteúdo e os direitos pertencem ao editor: consulte o artigo original.
Mais anúncios de Hugging Face
- Novos modelos abertos NVIDIA Cosmos 3 para simulação interativa de mundos
- Um olhar detalhado sobre o Phonon TTS: fala de alta qualidade no dispositivo que lidera os benchmarks
- Dharma Field Extractor: qualquer documento de entrada, campos estruturados em JSON na saída
- Transformers Model Integration Contracts