StateBench: проверка того, как языковые модели отслеживают изменения состояния в длинных документах
Запись в блоге Hugging Face о StateBench, который проверяет, как языковые модели отслеживают изменения состояния в длинных документах.
О чём статья
Ai2 представляет StateBench — бенчмарк, проверяющий, как языковые модели отслеживают сущности, чьё состояние меняется в длинных документах (до 64 000 токенов), на четырёх уровнях сложности — от R-тривиальных до общих конечных задач. Предобученные модели справляются с простейшим уровнем, теряют точность на апериодических и остаются на уровне случайного угадывания на общих. Передовые модели тоже резко ухудшаются с ростом входа — до 13 % и ниже на самых длинных общих задачах. Gated DeltaNet и гибридные модели, обученные прямо на задаче, обобщают намного лучше трансформеров, которые так и не освоили самый сложный класс. Опубликовано 3 ноября 2026 года на Hugging Face.
Читать официальную статью Карточка AnnuIA
Краткое изложение написано AnnuIA своими словами по официальной странице Hugging Face. Содержание и права принадлежат издателю: читайте оригинальную статью.