Como especializar o vocabulário de SLMs pode reduzir em 77% o custo de inferência em aplicações reais
O VocabX, da Dharma-AI, reconstrói o vocabulário de um modelo pequeno ponderando o custo de geração de cada token em vez da frequência, combinando subpalavras e tokens "macro". Em um corretor de redações em português baseado no Qwen3-4B, o custo caiu 77% e a pontuação subiu de 0,703 para 0,810 (resultados preliminares).
O que diz o artigo
Em 21 de outubro de 2026, a Dharma-AI publicou na Hugging Face uma prévia dos resultados de seu futuro artigo VocabX, ainda em revisão e sujeito a mudanças. O VocabX especializa o vocabulário do tokenizador de um modelo de linguagem conforme o custo de cada token, e não sua frequência; em produção, reduziu o custo de inferência medido em 77% sem alterar o modelo base.
O caso é um corretor automático de redações em português baseado no Qwen3-4B, que mantinha o tokenizador de uso geral. Após a especialização, o vocabulário passou de 151.669 para 64.767 entradas, o tamanho médio das respostas de 350 para 101 tokens e a pontuação do benchmark de 0,703 para 0,810. Em cinco domínios públicos e três famílias de modelos, o VocabX comprimiu mais que o melhor método de referência nas 15 combinações. Os métodos completos ficam para o artigo futuro.
Ler o artigo oficial Ficha AnnuIA
Resumo escrito pela AnnuIA com suas próprias palavras, com base na página oficial de Hugging Face. O conteúdo e os direitos pertencem ao editor: consulte o artigo original.