Wie die Spezialisierung des Vokabulars kleiner Sprachmodelle die Inferenzkosten in realen Anwendungen um 77 % senken kann
VocabX von Dharma-AI baut das Vokabular eines kleinen Modells neu auf, indem es die Generierungskosten jedes Tokens statt der Häufigkeit gewichtet und Subwort- und Mehrwort-Makrotokens kombiniert. Bei einem portugiesischen Aufsatzbewerter auf Basis von Qwen3-4B sanken die Inferenzkosten um 77 %, der Score stieg von 0,703 auf 0,810 (vorläufige Ergebnisse).
Worum es im Artikel geht
Am 21. Oktober 2026 veröffentlichte Dharma-AI auf Hugging Face einen Vorabblick auf Ergebnisse seines kommenden VocabX-Papers, das noch begutachtet wird und sich ändern kann. VocabX spezialisiert das Tokenizer-Vokabular eines Sprachmodells nach den Kosten jedes Tokens statt nach dessen Häufigkeit; in der Produktion senkte es die gemessenen Inferenzkosten um 77 %, ohne das Basismodell zu ändern.
Der Fall ist ein automatischer Korrektor für portugiesische Aufsätze auf Basis von Qwen3-4B, der den allgemeinen Tokenizer behielt. Nach der Spezialisierung sank das Vokabular von 151.669 auf 64.767 Einträge, die mittlere Antwortlänge von 350 auf 101 Token, und der Bench-Wert stieg von 0,703 auf 0,810. Über fünf öffentliche Domänen und drei Modellfamilien hinweg komprimierte VocabX in allen 15 Kombinationen stärker als die beste Referenzmethode. Die vollständigen Methoden folgen im kommenden Paper.
Offiziellen Artikel lesen AnnuIA-Profil
Zusammenfassung von AnnuIA in eigenen Worten nach der offiziellen Seite von Hugging Face. Inhalt und Rechte liegen beim Herausgeber: bitte den Originalartikel lesen.