NVIDIAは、NVIDIA Run:aiプラットフォーム一式をオープンソースソフトウェアとして公開しました。この ソースコード は、Apache 2.0ライセンスでGitHub上に公開されています。NVIDIA Run:aiのオープンソース化により、本番環境向けGPUスケジューリング、クォータ、ワークロード管理が開発者の手に委ねられます。このリリースにより、Run:aiはNVIDIA DSX AI Factoryプラットフォームの一部となります。プラットフォームチームは now、有料サブスクリプションなしでスタックを検査、フォーク、セルフホストできます。
TL;DR
- サイズ: コントロールプレーン、クラスターサービス、インストーラー、CLI、MCPサーバーを含むモノレポ。ローカル開発ビルドでは約50のGoサービスをビルドします。
- 実行環境: NVIDIA GPU搭載のKubernetesまたはOpenShiftクラスター。ローカル開発はmacOSまたはLinux上で動作し、シミュレートされたTesla-A10 GPU 8基を使用します(GPUは不要)。
- パフォーマンス: NVIDIAはこのリリース向けのプラットフォームレベルのベンチマークを公表していません。
- 長所: 関連するModel Streamerは、Azure上のNVIDIA H100 VM 8台でモデルを3倍から6倍速くロードしました。
- 短所: コミュニティエディションにはNVIDIAのエンタープライズサポートがありません。ローカルビルドにはLinux上で16 GB RAMと100 GBのディスクが必要です。
NVIDIA Run:aiとは?
NVIDIA Run:aiは、NVIDIAによるKubernetes向けAIワークロードおよびGPUオーケストレーションプラットフォームです。共有GPUクラスター全体で開発、トレーニング、推論のワークロードをスケジューリングします。Kubernetesの上で動作し、Kubernetesを置き換えるものではありません。
コントロールプレーンは、ワークロードの投入、リソース管理、モニタリングを担います。クラスターサービスは各Kubernetesクラスター上で動作し、GPU対応のスケジューリングを追加します。ユーザーは、Web UI、CLI、REST API、およびAIアシスタント向けのMCPサーバーを通じてアクセスします。
4つのモジュール型コンポーネントとは?
NVIDIAはリリースを、チームが個別に採用できる4つのコンポーネントに分割しました:
- KAI Scheduler はKubernetesネイティブのスケジューリングエンジンです。Apache 2.0ライセンスで、 CNCF Sandboxプロジェクトです。ギャングスケジューリング、時間ベースのフェアシェア、トポロジー認識、ビンパッキング、DRAサポートをカバーします。
- GPU Fractioning Operator は、CUDA 13.4ネイティブのGPUフラクションをKubernetesにもたらします。CUDAドライバーがワークロードごとにハードなメモリ制限を強制します。NVIDIAはこの方式を優先して、以前の独自フラクショニングを廃止しました。このオペレーターはスケジューラーに依存せず、Podごとのメトリクスをエクスポートします。
- KAI Resource Management は、プロジェクト、部門、クォータ、ノードプールを追加します。NVIDIAの例では、クラスターの50%を研究チームに保証しています。
- Workload Map は、PyTorchJob、RayCluster、KServeサービスなどのワークロードタイプを記述するGoライブラリです。オフラインで動作し、スケジューリング、キューイング、オートスケーリングは行いません。
開発者はどのようにしてNVIDIA Run:aiをローカルで実行するのでしょうか?
この ローカル開発ガイド 1つのスクリプトの上に成り立っている。 local-dev.shコンテナ内でソースから約50個のGoサービスをビルドします。その後、Kubernetes v1.32.5に固定された5ノードのKindクラスターを作成します。偽のGPUオペレーターが8基のTesla-A10 GPUをシミュレートするため、GPUハードウェアは不要です。
- 対応ホスト: macOS または Linux、amd64 または arm64。Windows はサポートされていません。
- Linuxホストには4 CPU、16 GB RAM、および100 GBの空きディスク容量が必要です。
- macOS の Podman VM には少なくとも 12 GB の RAM が必要です。
- 1回のフルビルドでは約44 GBのキャッシュが残ります。
その --gpu-operator このフラグは実際のNVIDIA GPUへの切り替えを行います。このモードにはLinux、Docker、NVIDIA Container Toolkitが必要です。AMDおよびIntelのアクセラレータはサポートされていません。
チームはどのようにして本番環境にデプロイできますか?
開発チームはソースから、または以下からデプロイできます。 NGC コミュニティ製品 Helm chart。そのエディションは有料サブスクリプションを必要としませんが、NVIDIAエンタープライズサポートは含まれていません。
チームは、8つのDSXエコシステムパートナーを通じて導入することもできます。これらは次のとおりです。 Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud および vClusterです。サポートされる商用エディションは、NVIDIA AI Enterprise、NVIDIA Mission Control、および一部のクラウドマーケットプレイスを通じて引き続き提供されます。
関連するオープンソースプロジェクトにはどのようなものが同梱されていますか?
隣接する2つのプロジェクトがこのスタックを補完します。 Model Streamer は、モデルの重みをGPUメモリに直接ストリーミングします。 vLLM とSGLangがこれを有効にします。 --load-format runai_streamer.
Microsoftの 公開ベンチマーク では、8台のNVIDIA H100 VMを使用しました。デフォルトのローダーと比較して、ロードが3倍から6倍速いことが示されました。スループットは80 Gbpsを維持し、デフォルトのパスでは約40 Gbpsでした。
Grove は複数コンポーネントの推論ワークロードをオーケストレーションします。prefillやdecodeなどのコンポーネントを、オール・オア・ナッシングの単位として起動します。
NVIDIA Run:aiは他のオープンソースKubernetesスケジューラとどう比べられますか?
| 機能 | NVIDIA Run:ai(オープンソース) | Volcano | Kueue | Apache YuniKorn |
|---|---|---|---|---|
| ライセンス | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| ガバナンス | NVIDIA DSX AI Factory org(KAI Scheduler:CNCF Sandbox) | CNCF Incubating | kubernetes-sigs(wg-batch) | Apache Software Foundation |
| スコープ | フルプラットフォーム:コントロールプレーン、UI、CLI、REST API、MCPサーバー | バッチスケジューリングシステム | ジョブキューイングコントローラー | スケジューラー、デフォルトの代替 |
| kube-schedulerを置き換える | いいえ、KAI Schedulerで拡張します | 非公開 | いいえ | はい、代替として |
| ギャングスケジューリング | はい | はい | タイムアウトベースのオール・オア・ナッシング | はい |
| クォータ階層 | プロジェクト、部門、ノードプール | マルチレベルキュー | コホート、フェアシェアリング | 階層型キュー |
| GPU共有 | ハードメモリ制限付きのCUDA 13.4ネイティブな分数割り当て | vGPU、動的MIG | DRAベースのGPUクォータ。分数割り当ては概要に未記載 | 非公開 |
| トポロジー対応 | はい | はい | はい | 非公開 |
| マルチクラスター | はい、コントロールプレーン経由 | はい | はい、MultiKueue | 非公開 |
| Web UI | はい | 別個のダッシュボードプロジェクト | 非公開 | 非公開 |
最大の違いはスコープです。Volcano、Kueue、YuniKornはスケジューリングまたはキューイングに焦点を当てています。Run:aiはスケジューラの上に完全な管理プラットフォームを提供します。
主なポイント
- NVIDIA Run:aiは現在、Apache 2.0の下で完全にオープンソース化されています。
- 4つのコンポーネントがスタンドアロンで提供されます:KAI Scheduler、GPU Fractioning、Resource Management、Workload Map。
- GPU分割は現在、CUDA 13.4ネイティブのメモリ分離を使用しています。
- ローカル開発は、シミュレートされた8つのGPUを備えた5ノードのKindクラスター上で実行されます。
- 無料版にはNVIDIAのエンタープライズサポートは含まれません。
以下をチェックしてみてください: GitHubリポジトリ、 ローカル開発ガイド および NVIDIAのテクニカルブログ。本プロジェクトの研究者に全ての功績があります。また、ぜひ私たちをフォローしてください: Twitter そして、私たちの 150k以上のML SubReddit および、登録してください 当社のニュースレター。待って!あなたはTelegramを使っていますか? Telegramでもご参加いただけるようになりました。
この投稿 NVIDIA、Kubernetes GPUオーケストレーション向けRun:aiをApache 2.0ライセンスでオープンソース化 最初に掲載されたのは MarkTechPost.