StateBench：测试语言模型如何在长文档中跟踪状态变化
Hugging Face博客文章介绍了StateBench，该基准用于测试语言模型如何在长文档中跟踪状态变化。
文章要点
Ai2 推出 StateBench 基准，用于测试语言模型在长文档（最多 64,000 个 token）中追踪状态不断变化的实体的能力，分为从 R-trivial 到一般有限问题的四个难度级别。预训练模型能应付最简单的一级，在非周期问题上准确率下降，在一般问题上只相当于随机水平。前沿模型也会随输入变长而大幅下滑，在最长的一般问题上降至 13% 或更低。直接在该任务上训练的 Gated DeltaNet 和混合模型泛化能力远强于 Transformer，后者始终未能学会最难的一类。发布于 2026 年 11 月 3 日，位于 Hugging Face。
本摘要由 AnnuIA 根据 Hugging Face 官方页面用自己的话撰写。内容及版权归发布方所有，请阅读原文。