StateBench: लंबे दस्तावेज़ों में भाषा मॉडल स्थिति परिवर्तनों को कैसे ट्रैक करते हैं, इसकी जाँच

लेख में क्या कहा गया है

Ai2 ने StateBench पेश किया है, जो परखता है कि भाषा मॉडल लंबे दस्तावेज़ों (64,000 टोकन तक) में बदलती अवस्था वाली इकाइयों को कितना ट्रैक कर पाते हैं। इसमें R-trivial से लेकर सामान्य परिमित समस्याओं तक चार कठिनाई स्तर हैं। प्रीट्रेन्ड मॉडल सबसे आसान स्तर संभाल लेते हैं, अपीरियोडिक में सटीकता खोते हैं और सामान्य में संयोग-स्तर पर रहते हैं। अग्रणी मॉडल भी इनपुट लंबा होने पर तेज़ी से गिरते हैं, सबसे लंबी सामान्य समस्याओं में 13% या उससे कम तक। सीधे कार्य पर प्रशिक्षित Gated DeltaNet और हाइब्रिड मॉडल ट्रांसफ़ॉर्मर से कहीं बेहतर सामान्यीकरण करते हैं, जो सबसे कठिन वर्ग कभी नहीं सीख पाए। 3 नवंबर 2026 को Hugging Face पर प्रकाशित।

आधिकारिक लेख पढ़ें AnnuIA प्रोफ़ाइल

यह सारांश AnnuIA ने Hugging Face के आधिकारिक पृष्ठ के आधार पर अपने शब्दों में लिखा है। सामग्री और अधिकार प्रकाशक के हैं: कृपया मूल लेख पढ़ें।

सभी समाचार