Comment spécialiser le vocabulaire des petits modèles peut réduire de 77 % le coût d'inférence dans des applications réelles
VocabX (Dharma-AI) reconstruit le vocabulaire d'un petit modèle en pondérant le coût de génération de chaque jeton plutôt que sa fréquence, en combinant sous-mots et jetons « macro ». Sur un correcteur d'essais en portugais fondé sur Qwen3-4B, le coût d'inférence baisse de 77 % et le score passe de 0,703 à 0,810 (résultats préliminaires).
Ce que dit l'article
Le 21 octobre 2026, Dharma-AI a publié sur Hugging Face un aperçu des résultats de son futur article VocabX, encore en cours d'évaluation et susceptible d'évoluer. VocabX spécialise le vocabulaire du tokeniseur d'un modèle de langage selon le coût de chaque jeton plutôt que sa fréquence ; en production, le coût d'inférence mesuré a baissé de 77 % sans changer le modèle de base.
Le cas est un correcteur automatique de rédactions en portugais fondé sur Qwen3-4B, qui conservait le tokeniseur généraliste. Après spécialisation, le vocabulaire est passé de 151 669 à 64 767 entrées, la longueur moyenne des réponses de 350 à 101 jetons et le score du banc d'essai de 0,703 à 0,810. Sur cinq domaines publics et trois familles de modèles, VocabX compresse davantage que la meilleure méthode de référence dans les 15 combinaisons. Les méthodes complètes sont renvoyées à l'article à venir.
Lire l'article officiel Fiche AnnuIA
Résumé rédigé par AnnuIA avec ses propres mots, d'après la page officielle de Hugging Face. Le contenu et les droits appartiennent à l'éditeur : consultez l'article d'origine.