StateBench: Wie Sprachmodelle Zustandsänderungen in langen Dokumenten verfolgen
Ein Hugging-Face-Blogbeitrag über StateBench, das testet, wie Sprachmodelle Zustandsänderungen in langen Dokumenten verfolgen.
Worum es im Artikel geht
Ai2 stellt StateBench vor, einen Benchmark, der prüft, wie Sprachmodelle Entitäten verfolgen, deren Zustand sich in langen Dokumenten (bis 64.000 Token) ändert, in vier Schwierigkeitsstufen von R-trivial bis zu allgemeinen endlichen Problemen. Vortrainierte Modelle meistern die leichteste Stufe, verlieren bei aperiodischen Problemen an Genauigkeit und bleiben bei allgemeinen auf Zufallsniveau. Auch Spitzenmodelle brechen bei längeren Eingaben stark ein, bei den längsten allgemeinen Problemen auf 13 % oder weniger. Gated DeltaNet und Hybridmodelle, direkt auf die Aufgabe trainiert, generalisieren deutlich besser als Transformer, die die schwerste Klasse nie lernten. Veröffentlicht am 3. November 2026 auf Hugging Face.
Offiziellen Artikel lesen AnnuIA-Profil
Zusammenfassung von AnnuIA in eigenen Worten nach der offiziellen Seite von Hugging Face. Inhalt und Rechte liegen beim Herausgeber: bitte den Originalartikel lesen.