छोटे भाषा मॉडलों की शब्दावली को विशेषीकृत करने से वास्तविक अनुप्रयोगों मे�� इन्फ़रेंस लागत 77% कैसे घट सकती है
Dharma-AI का VocabX टोकन की आवृत्ति के बजाय उसकी जनन-लागत के आधार पर छोटे मॉडल की शब्दावली फिर से बनाता है और उप-शब्द व "मैक्रो" टोकन जोड़ता है। Qwen3-4B पर आधारित पुर्तगाली नि��ंध ग्रेडर में इन्फ़रेंस लागत 77% घटी और स्कोर 0.703 से 0.810 हुआ (प्रारंभिक नतीजे)।
लेख में क्या कहा गया है
21 अक्टूबर 2026 को Dharma-AI ने Hugging Face पर अपने आगामी VocabX शोधपत्र के नतीजों का पूर्वावलोकन प्रकाशित किया, जो अभी समीक्षा में है और बदल सकता है। VocabX किसी भाषा मॉडल के टोकनाइज़र की शब्दावली को टोकन की आवृत्ति के बजाय उसकी लागत के आधार पर विशेषीकृत करता है; उत्पादन में इसने बेस मॉडल बदले बिना मापी गई अनुमान-लागत 77% घटाई।
मामला Qwen3-4B पर आधारित पुर्तगाली निबंधों के स्वचालित ग्रेडर का है, जो सामान्य-उद्देश्य टोकनाइज़र रखे हुए था। विशेषीकरण के बाद शब्दावली 151,669 से 64,767 प्रविष्टियों पर आई, औसत उत्तर-लंबाई 350 से 101 टोकन हुई और बेंच स्कोर 0.703 से 0.810 हुआ। पाँच सार्वजनिक डोमेन और तीन मॉडल परिवारों में VocabX ने सभी 15 संयोजनों में सबसे मज़बूत संदर्भ विधि से अधिक संपीड़न किया। पूरी विधियाँ आगामी शोधपत्र के लिए छोड़ी गई हैं।
आधिकारिक लेख पढ़ें AnnuIA प्रोफ़ाइल
यह सारांश AnnuIA ने Hugging Face के आधिकारिक पृष्ठ के आधार पर अपने शब्दों में लिखा है। सामग्री और अधिकार प्रकाशक के हैं: कृपया मूल लेख पढ़ें।