Comment nous avons repensé le routage des fournisseurs pour une inférence meilleure et plus rapide
OpenRouter refond son routage : il surveille en continu les performances de chaque point d'accès fournisseur pour équilibrer coût, vitesse et fiabilité. Auparavant, l'essentiel du trafic allait par défaut vers le fournisseur le moins cher d'un modèle.
Ce que dit l'article
Le 28 octobre 2026, OpenRouter a annoncé un nouvel algorithme de routage par défaut entre fournisseurs, qu'elle présente comme sa plus grande amélioration depuis sa création. L'ancien routeur classait surtout les fournisseurs selon le prix des jetons d'entrée, si bien que le moins cher recevait l'essentiel du trafic.
Le nouveau routeur évalue chaque requête selon le prix effectif, le débit, la fiabilité, la disponibilité et la qualité (notamment la bonne forme des appels d'outils). Aucun changement de code, de clé ou d'identifiant de modèle n'est requis. Lors d'un test d'une semaine sur plus de 24 millions de requêtes, le temps médian avant le premier jeton est passé de 1 007 à 837 ms et les requêtes touchées par une erreur 429 de 7,1 % à 3,8 %, mais le coût par million de jetons a augmenté de 7,3 %. Les utilisateurs qui veulent un routage au prix seul peuvent utiliser provider.sort, le suffixe :floor ou un réglage de compte.
Lire l'article officiel Fiche AnnuIA
Résumé rédigé par AnnuIA avec ses propres mots, d'après la page officielle de OpenRouter. Le contenu et les droits appartiennent à l'éditeur : consultez l'article d'origine.