Как специализация словаря малых языковых моделей снижает стоимость инференса на 77 % в реальных приложениях
VocabX от Dharma-AI перестраивает словарь малой модели, оценивая стоимость генерации каждого токена, а не частоту, и объединяя субслова и «макро»-токены. В системе проверки португальских эссе на Qwen3-4B стоимость инференса снизилась на 77 %, оценка выросла с 0,703 до 0,810 (предварительно).
О чём статья
21 октября 2026 года Dharma-AI оп��бликовала на Hugging Face предварительные результаты будущей статьи VocabX, которая ещё проходит рецензирование и может измениться. VocabX специализирует словарь токенизатора языковой модели исходя из стоимости каждого токена, а не его частоты; в продакшене он снизил измеренную стоимость инференса на 77 % без изменения базовой модели.
Пример — автоматический проверяющий сочинений на португальском на основе Qwen3-4B, сохранявший универсальный токенизатор. После специализации словарь сократился со 151 669 до 64 767 записей, средняя длина ответа — с 350 до 101 токена, а показатель бенчмарка вырос с 0,703 до 0,810. На пяти открытых предметных областях и трёх семействах моделей VocabX сжимал лучше сильнейшего базового метода во всех 15 комбинациях. Полные методы отложены до будущей статьи.
Читать официальную статью Карточка AnnuIA
Краткое изложение написано AnnuIA своими словами по официальной странице Hugging Face. Содержание и права принадлежат издателю: читайте оригинальную статью.