StateBench: probando cómo los modelos de lenguaje siguen los cambios de estado en documentos largos
Una entrada del blog de Hugging Face sobre StateBench, que prueba cómo los modelos de lenguaje siguen los cambios de estado en documentos largos.
Qué dice el artículo
Ai2 presenta StateBench, un benchmark que mide cómo los modelos de lenguaje siguen entidades cuyo estado cambia en documentos largos (hasta 64 000 tokens), con cuatro niveles de dificultad, desde problemas R-triviales hasta problemas finitos generales. Los modelos preentrenados resuelven el nivel más fácil, pierden precisión en los aperiódicos y se quedan al nivel del azar en los generales. Los modelos de frontera también caen en picado al alargarse la entrada, hasta un 13 % o menos en los problemas generales más largos. Gated DeltaNet y los modelos híbridos entrenados directamente en la tarea generalizan mucho mejor que los transformers, que nunca aprendieron la clase más difícil. Publicado el 3 de noviembre de 2026 en Hugging Face.
Leer el artículo oficial Ficha AnnuIA
Resumen redactado por AnnuIA con sus propias palabras a partir de la página oficial de Hugging Face. El contenido y los derechos pertenecen al editor: consulte el artículo original.
Más anuncios de Hugging Face
- Nuevos modelos abiertos NVIDIA Cosmos 3 para la simulación interactiva de mundos
- Una mirada a fondo a Phonon TTS: voz de alta calidad en el dispositivo que lidera los benchmarks
- Dharma Field Extractor: cualquier documento de entrada, campos estructurados en JSON de salida
- Transformers Model Integration Contracts