Buoyant、KubernetesとvLLM向けのオープンソース推論コントロールプレーン「Kinference」をリリース

Linkerdの開発企業であるBuoyantは Kinferenceをリリースした、Kubernetes上で推論プラットフォームを構築するためのオープンソースプロジェクトです。Kinferenceは、KubernetesとvLLM向けの推論コントロールプレーンです。多数の vLLM ワーカーに接続し、各リクエストの振り分け先を決定します。ルーティングポリシー、トークンレート制限、KVキャッシュを考慮したロードバランシング、テナントごとのメトリクスを1つのレイヤーで適用します。多くのオープンウェイトモデルを多くの社内クライアントに提供する開発チームにとって、モデルサーバーの上位レイヤーを対象としています。このプロジェクトは GitHub上でApache 2.0ライセンス. 現在のリリースは v0.1.0-alpha.7.

要約

• サイズ: v0.1.0-alpha.7、Rustで書かれ、Apache 2.0ライセンスで、5つのKubernetes CRDを通じて設定されます。
• 動作環境: vLLM を実行する GPU 対応の任意の Kubernetes クラスター。Buoyant のベンチマークではプールごとに 3 枚の L40S GPU を使用しました。
• パフォーマンス: プレフィックス中心のトラフィックにおいて、通常のKubernetes Serviceルーティングと比較して大幅な利得（自己申告）。
• ベスト： 共通プレフィックスのワークロードにおいて、median TTFT は 6.88 秒から 0.31 秒へ(95%)低下しました。
• 最悪のケース: 共有プレフィックスを持たないプロンプトでは、median TTFT の向上は見られませんでした(6.92 秒 vs 6.83 秒)。

Kinferenceとは何ですか?

Kinferenceは、KubernetesとvLLMを組み合わせてマルチテナント推論プラットフォームに変える、ポリシーベースのコントロールプレーンです。 BuoyantのFAQ 端的に言えば、vLLMがデータプレーンであり、Kinferenceがコントロールプレーンである。

Kinferenceはどのように動作しますか?

このシステムは2つの部分から構成されています。トラフィックゲートウェイと推論ハンドラです。 GitHub README ハンドラがgRPCインターフェースを公開すると記述されています。リクエストを受け取り、選択されたエンドポイントと、場合によっては変更されたボディを返します。これは次のようなプロキシと組み合わせて使用されます。 ブイアント・ゲートウェイ.

KinferenceはvLLMのKVキャッシュイベントとエンジンメトリクスを監視します。現在はNVIDIAの dynamo-kv-router キャッシュイベントを処理する crate。設定は 5 つの CRD にあります: GatewayBackend、InferencePolicy、InferencePool、InferenceProvider および InferenceWorkerSet.

Inference ポリシーとは何ですか?

Inference ポリシーは、各リクエストをどのようにルーティングまたは拒否するかを定める宣言的なルールです。ルールはテナント、要求されたモデル、GPU プールの状態、セマンティックタグに基づいてマッチングできます。 ポリシーの例 プロジェクトサイトで 5 つのパターンを紹介しています:

• シンプルなものをより安価に: 複雑でないプロンプトを小さいモデルにルーティングします。ただし、キャッシュの重複により大きなモデルの方が速い場合は除きます。
• バーストはクラウドへ: キューに入ったプロンプトが 2 件を超えるワーカーをスキップし、Bedrock などのプロバイダーにフォールバックします。
• PII はローカルに留める: PII タグが発火した場合は外部プロバイダーを削除し、フェイルクローズで onEmpty: Reject.
• アイドル GPU でのバッチ処理: バッチリクエストは KV キャッシュ使用率が 70% 未満のワーカーにのみ送信します。
• モデルエイリアス: 複数のモデルを基盤とする 1 つの安定した名前( standard-modelなど)を公開します。

ほとんどのルールは minimize: PredictedTTFTで終わります。Kinference はキャッシュの重複とキューの長さに基づいて、各候補エンドポイントの time-to-first-token を予測します。ポリシーは git で管理され、 kinfctl CLI を使ってオフラインで検証できます。

ベンチマークにおける Kinference の速度は?

Buoyant は、 プレーンな Kubernetes ロードバランシングとのベンチマークを公開しました。各アームは 3 個の vLLM 0.31.0 ポッドを使用し、それぞれ 1 枚の L40S GPU 上で動作しました。モデルは Qwen3.8-27B-FP8でした。負荷は GuideLLM 0.8.1 からかけました。ベースラインは ClusterIP Service で、kube-proxy が接続ごとにランダムなポッドを選択します。

無負荷時のレイテンシ結果(中央値 TTFT):

エンドツーエンドの中央値レイテンシは、共有プレフィックスで45%、マルチターンで32%低下しました。コントロールトラフィックでは、p95 TTFTは依然として21.46秒から12.33秒に低下しました。Buoyantはこれをキュー対応のバランシングによるものとしています。

キャパシティテストではグッドプット(TTFT SLOを満たす1分あたりのリクエスト数)を測定しました。ピークのグッドプットは、共有プレフィックスで103.0対14.0 req/min、約7.4倍でした。マルチターンでは82.7対23.8、約3.5倍でした。Serviceベースラインは、テストされたどの同時実行数でもSLOを満たすことができませんでした。

これらの数値は自己申告によるものです。ベースラインはランダムルーティングであり、llm-dやDynamoのような別のキャッシュ対応ルーターではありません。Buoyantはまた、そのSLO(8秒と4秒)はチャットではなくオフラインエージェントに適したものだと述べています。

Kinferenceはllm-d、Dynamo、Production Stackと比べてどうですか?

Kinferenceの独自の切り口はガバナンスです。ポリシー、エイリアス、プロバイダーのフォールバック、テナント単位のアカウンティングを扱います。llm-dとDynamoは、生のサービング性能、ディスアグリゲーション、エンジン対応範囲で先行しています。

デプロイと提供状況

インストールは、以下のとおり5つのステップで完了します。 スタートガイドによると5ステップで完了します。チームはGateway API v1.5.1のCRD、Buoyant gatewayのHelmチャート、その後Kinferenceチャートをインストールします。KinferenceはPrometheusメトリクスと Grafanaダッシュボードを同梱しています。メトリクスにはTTFT、ITL、エンドツーエンドのレイテンシ、キャッシュ済み/未キャッシュのプロンプトトークンが含まれ、主にテナント単位で提供されます。

要点

• Kinferenceは、Linkerdの開発元Buoyantによる、Kubernetes上のvLLM向けApache 2.0コントロールプレーンです。
• 宣言的なInferencePolicyルールにより、モデル選択、プロバイダーのバースト、PIIルーティング、バッチアドミッションを処理します。
• 自己申告のTTFT中央値は、kube-proxy比で共有プレフィックストラフィックにおいて95%低下しました。
• ピーク時のgoodputは、共有プレフィックスで約7.4倍、マルチターンで3.5倍上昇しました。
• 現在はアルファ版であり、レート制限、分類器、Anthropic APIサポートはまだ提供されていません。

ぜひ GitHubリポジトリ, ドキュメント, 公開記事 、および ベンチマークレポートをご覧ください。また、お気軽に Twitter をフォローし、 150k以上のML SubReddit への参加と、 当社のニュースレターの購読もお忘れなく。お待ちください！Telegramをご利用ですか？ 現在、Telegramでも参加できるようになりました。

GitHub リポジトリ OR Hugging Face ページ OR 製品リリース OR ウェビナーなどのプロモーションで私たちとのパートナーシップが必要ですか？ 私たちにご連絡ください

本記事 Buoyant、KubernetesとvLLM向けのオープンソース推論コントロールプレーン「Kinference」をリリース は最初に MarkTechPost.