专门化小语言模型词表如何在实际应用中将推理成本降低77%
Dharma-AI的VocabX按每个token的生成成本而非频率来重建小模型词表，并将子词与多词“宏”token统一处理。在基于Qwen3-4B的葡萄牙语作文评分系统中，推理成本下降77%，评测得分从0.703升至0.810（初步结果）。
文章要点
2026年10月21日，Dharma-AI在Hugging Face上预先公布了其即将发表的VocabX论文的结果，该论文仍在审稿中，内容可能变化。VocabX按每个词元的成本而非出现频率来专门化语言模型分词器的词表；在生产环境中，它在不更换基础模型的情况下将实测推理成本降低了77%。
案例是一个基于Qwen3-4B的葡萄牙语作文自动批改系统，此前一直使用通用分词器。专门化后，词表从151,669项降至64,767项，平均回复长度从350降至101个词元，基准得分从0.703升至0.810。在五个公开领域和三个模型系列上，VocabX在全部15种组合中的压缩率都超过最强参考方法。完整方法留待即将发表的论文说明。
本摘要由 AnnuIA 根据 Hugging Face 官方页面用自己的话撰写。内容及版权归发布方所有，请阅读原文。