SLMの語彙を特化させると、実運用で推論コストを77%削減できる仕組み
Dharma-AIのVocabXは、トークンの頻度ではなく生成コストで重み付けして小型モデルの語彙を再構築し、サブワードと複数語の「マクロ」トークンを組み合わせる。Qwen3-4Bベースのポルトガル語エッセイ採点��ステムで、推論コストが77%減り、スコアは0.703から0.810に上がった(予備的な結果)。
記事の内容
2026年10月21日、Dharma-AIはHugging Faceで、査読中で変更の可能性がある今後のVocabX論文の結果を先行公開しました。VocabXは、言語モデルのトークナイザーの語彙を、頻度ではなく各トークンのコストに基づいて特化させる手法で、本番環境では基盤モデルを変えずに測定した推論コストを77%削減したとしています。
事例は、汎用トークナイザーを使い続けていたQwen3-4Bベースのポルトガル語エッセイ自動採点システムです。特化後、語彙は151,669から64,767エントリに、平均応答長は350から101トークンに減り、ベンチスコアは0.703から0.810に上がりました。5つの公開ドメインと3つのモデルファミリーで、VocabXは15通りすべての組み合わせで最強の比較手法より高い圧縮を達成しました。詳細な手法は今後の論文で示されるとしています。
この要約は、Hugging Face の公式ページをもとに AnnuIA が自分の言葉で作成しました。内容および権利は発行元に帰属します。元の記事をご覧ください。