Cómo especializar el vocabulario de los SLM puede reducir un 77 % el coste de inferencia en aplicaciones reales
VocabX, de Dharma-AI, reconstruye el vocabulario de un modelo pequeño ponderando el coste de generación de cada token en lugar de su frecuencia, combinando subpalabras y tokens «macro». En un corrector de ensayos en portugués basado en Qwen3-4B, el coste de inferencia bajó un 77 % y la puntuación subió de 0,703 a 0,810 (resultados preliminares).
Qué dice el artículo
El 21 de octubre de 2026, Dharma-AI publicó en Hugging Face un adelanto de los resultados de su futuro artículo VocabX, aún en revisión y sujeto a cambios. VocabX especializa el vocabulario del tokenizador de un modelo de lenguaje según el coste de cada token y no su frecuencia; en producción redujo el coste de inferencia medido en un 77 % sin cambiar el modelo base.
El caso es un corrector automático de redacciones en portugués basado en Qwen3-4B, que conservaba el tokenizador de propósito general. Tras la especialización, el vocabulario pasó de 151 669 a 64 767 entradas, la longitud media de respuesta de 350 a 101 tokens y la puntuación del banco de pruebas de 0,703 a 0,810. En cinco dominios públicos y tres familias de modelos, VocabX comprimió más que el mejor método de referencia en las 15 combinaciones. Los métodos completos se dejan para el artículo futuro.
Leer el artículo oficial Ficha AnnuIA
Resumen redactado por AnnuIA con sus propias palabras a partir de la página oficial de Hugging Face. El contenido y los derechos pertenecen al editor: consulte el artículo original.