StateBench : tester la façon dont les modèles de langage suivent les changements d’état dans de longs documents
Article du blog Hugging Face consacré à StateBench, qui teste la façon dont les modèles de langage suivent les changements d’état dans de longs documents.
Ce que dit l'article
Ai2 présente StateBench, un benchmark qui teste la façon dont les modèles de langage suivent des entités dont l'état change dans de longs documents (jusqu'à 64 000 jetons), en quatre niveaux de difficulté, des problèmes R-triviaux aux problèmes finis généraux. Les modèles préentraînés réussissent le niveau le plus simple, perdent en précision sur les problèmes apériodiques et restent au niveau du hasard sur les généraux. Les modèles de pointe chutent aussi nettement quand les entrées s'allongent, jusqu'à 13 % ou moins sur les plus longs problèmes généraux. Les modèles Gated DeltaNet et hybrides entraînés directement sur la tâche généralisent bien mieux que les transformers, qui n'apprennent jamais la classe la plus dure. Publié le 3 novembre 2026 sur Hugging Face.
Lire l'article officiel Fiche AnnuIA
Résumé rédigé par AnnuIA avec ses propres mots, d'après la page officielle de Hugging Face. Le contenu et les droits appartiennent à l'éditeur : consultez l'article d'origine.
Autres annonces de Hugging Face
- Nouveaux modèles ouverts NVIDIA Cosmos 3 pour la simulation interactive de mondes
- Un regard approfondi sur Phonon TTS : une synthèse vocale locale de haute qualité en tête des benchmarks
- Dharma Field Extractor : un document en entrée, des champs structurés en JSON en sortie
- Transformers Model Integration Contracts