より良く高速な推論のためにプロバイダールーティングを再構築した方法
OpenRouter はルーティングを再構築し、各プロバイダーのエンドポイントの性能を常時監視してコスト・速度・信頼性のバランスを取るようにしました。以前は、既定でトラフィックの大半がモデルごとに最安のプロバイダーへ送られていました。
記事の内容
OpenRouterは2026年10月28日、プロバイダー選択のデフォルトのルーティングアルゴリズムを刷新したと発表し、創業以来最大の改善だと説明しています。従来のルーターは主に入力トークン価格で順位付けしていたため、最安のプロバイダーにトラフィックが集中していました。
新しいルーターは、実効価格、スループット、信頼性、可用性、品質（特にツール呼び出しの形式の正しさ）でリクエストごとに評価します。コード、キー、モデルIDの変更は不要です。2,400万件超のリクエストによる1週間の試験では、最初のトークンまでの中央値が1,007ミリ秒から837ミリ秒に、429エラーに当たったリクエストが7.1%から3.8%に減りましたが、100万トークンあたりのコストは7.3%上がりました。価格のみのルーティングを望む場合は、provider.sort、:floor接尾辞、アカウント設定を使えます。
この要約は、OpenRouter の公式ページをもとに AnnuIA が自分の言葉で作成しました。内容および権利は発行元に帰属します。元の記事をご覧ください。