StateBench：長い文書での状態変化を言語モデルがどう追跡するかを検証する
Hugging Faceのブログ記事で、長い文書における状態変化を言語モデルがどう追跡するかを検証するStateBenchを扱っています。
記事の内容
Ai2はStateBenchを発表しました。長い文書（最大64,000トークン）の中で状態が変化していくエンティティを言語モデルがどれだけ追跡できるかを測るベンチマークで、R-trivialから一般的な有限問題まで4段階の難易度があります。事前学習済みモデルは最も易しい段階は解けるものの、非周期的な問題では精度が落ち、一般的な問題では偶然レベルにとどまります。最先端モデルも入力が長くなると大きく低下し、最長の一般問題では13%以下になりました。タスクで直接学習させたGated DeltaNetやハイブリッドモデルはTransformerよりはるかによく汎化し、Transformerは最難関クラスを学習できませんでした。2026年11月3日、Hugging Faceで公開。
この要約は、Hugging Face の公式ページをもとに AnnuIA が自分の言葉で作成しました。内容および権利は発行元に帰属します。元の記事をご覧ください。