Как мы перестроили маршрутизацию провайдеров ради более быстрого и качественного инференса
OpenRouter перестроил маршрутизацию: теперь он постоянно отслеживает производительность каждой конечной точки провайдера, балансируя стоимость, скорость и надёжность. Раньше основной трафик по умолчанию шёл к самому дешёвому провайдеру модели.
О чём статья
28 октября 2026 года OpenRouter объявила о новом алгоритме маршрутизации между провайдерами по умолчанию и назвала его крупнейшим улучшением со дня основания. Прежний маршрутизатор в основном ранжировал провайдеров по цене входных токенов, поэтому самый дешёвый получал основную часть трафика.
Новый маршрутизатор оценивает каждый запрос по эффективной цене, пропускной способности, надёжности, доступности и качеству (в частности, корректности вызовов инструментов). Менять код, ключи или идентификаторы моделей не нужно. В недельном тесте на более чем 24 млн запросов медианное время до первого токена снизилось с 1007 до 837 мс, а доля запросов с ошибкой 429 — с 7,1 % до 3,8 %, но стоимость за миллион токенов выросла на 7,3 %. Для маршрутизации только по цене можно использовать provider.sort, суффикс :floor или настройку аккаунта.
Читать официальную статью Карточка AnnuIA
Краткое изложение написано AnnuIA своими словами по официальной странице OpenRouter. Содержание и права принадлежат издателю: читайте оригинальную статью.