NVIDIA hat die vollständige NVIDIA Run:ai-Plattform als Open-Source-Software veröffentlicht. Der Quellcode erscheint unter der Apache-2.0-Lizenz auf GitHub. NVIDIA Run:ai open source bringt Produktions-GPU-Scheduling, Quoten und Workload-Management in die Hände der Entwickler. Die Veröffentlichung macht Run:ai Teil der NVIDIA DSX AI Factory-Plattform. Plattform-Teams können den Stack nun inspizieren, forken und selbst hosten, ohne ein bezahltes Abonnement.
TL;DR
- Größe: Monorepo mit Control Plane, Cluster-Diensten, Installer, CLI und MCP-Server. Lokale Dev-Builds umfassen etwa 50 Go-Dienste.
- Läuft auf: Kubernetes- oder OpenShift-Clustern mit NVIDIA-GPUs. Die lokale Entwicklung läuft auf macOS oder Linux mit 8 simulierten Tesla-A10-GPUs, keine GPU erforderlich.
- Performance: NVIDIA hat für diese Veröffentlichung keine Benchmark auf Plattformebene veröffentlicht.
- Beste: Der zugehörige Model Streamer lud Modelle 3x bis 6x schneller auf 8 NVIDIA-H100-VMs auf Azure.
- Schlechteste: Die Community-Edition bietet keinen NVIDIA-Enterprise-Support. Lokale Builds benötigen 16 GB RAM und 100 GB Speicherplatz unter Linux.
Was ist NVIDIA Run:ai?
NVIDIA Run:ai ist eine AI-Workload- und GPU-Orchestrierungsplattform für Kubernetes von NVIDIA. Sie plant Entwicklungs-, Trainings- und Inferenz-Workloads über gemeinsame GPU-Cluster hinweg. Sie läuft auf Kubernetes auf und ersetzt es nicht.
Die Control Plane übernimmt Workload-Einreichung, Ressourcenverwaltung und Monitoring. Cluster-Dienste laufen auf jedem Kubernetes-Cluster und ergänzen GPU-bewusstes Scheduling. Nutzer greifen über eine Web-UI, CLI, REST-API und einen MCP-Server für AI-Assistenten darauf zu.
Was sind die 4 modularen Komponenten?
NVIDIA hat die Veröffentlichung in 4 Komponenten aufgeteilt, die Teams unabhängig voneinander übernehmen können:
- KAI Scheduler ist die Kubernetes-native Scheduling-Engine. Sie ist Apache 2.0 und ein CNCF Sandbox-Projekt. Sie deckt Gang-Scheduling, zeitbasiertes Fair-Share, Topologie-Bewusstsein, Bin-Packing und DRA-Support ab.
- GPU Fractioning Operator bringt CUDA-13.4-native GPU-Fraktionen nach Kubernetes. Der CUDA-Treiber erzwingt ein hartes Speicherlimit pro Workload. NVIDIA hat sein älteres proprietäres Fractioning zugunsten dieses Ansatzes eingestellt. Der Operator ist scheduler-agnostisch und exportiert Metriken pro Pod.
- KAI Resource Management fügt Projekte, Abteilungen, Quoten und Node-Pools hinzu. NVIDIAs Beispiel garantiert einem Forschungsteam 50% eines Clusters.
- Workload Map ist eine Go-Bibliothek, die Workload-Typen wie PyTorchJob, RayCluster und KServe-Dienste beschreibt. Sie funktioniert offline und plant, warteschlangelt oder skaliert nicht automatisch.
Wie führen Entwickler NVIDIA Run:ai lokal aus?
Die lokale Entwicklungsanleitung basiert auf 1 Skript, local-dev.sh. Es baut etwa 50 Go-Services aus dem Quellcode in Containern. Anschließend erstellt es einen 5-Knoten-Kind-Cluster, der an Kubernetes v1.32.5 gebunden ist. Ein gefälschter GPU-Operator simuliert 8 Tesla-A10-GPUs, daher ist keine GPU-Hardware erforderlich.
- Unterstützte Hosts: macOS oder Linux, auf amd64 oder arm64. Windows wird nicht unterstützt.
- Linux-Hosts benötigen 4 CPUs, 16 GB RAM und 100 GB freien Speicherplatz.
- macOS-Podman-VMs benötigen mindestens 12 GB RAM.
- 1 vollständiger Build hinterlässt etwa 44 GB Caches.
Das --gpu-operator Flag schaltet auf echte NVIDIA-GPUs um. Dieser Modus benötigt Linux, Docker und das NVIDIA Container Toolkit. AMD- und Intel-Beschleuniger werden nicht unterstützt.
Wie können Teams es in der Produktion einsetzen?
Entwicklungsteams können es aus dem Quellcode oder über das NGC Community Product Helm-Chart einsetzen. Diese Edition erfordert kein kostenpflichtiges Abonnement, schließt jedoch den NVIDIA-Enterprise-Support aus.
Teams können es auch über 8 DSX-Ökosystempartner übernehmen. Diese sind Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud und vCluster. Unterstützte kommerzielle Editionen laufen weiterhin über NVIDIA AI Enterprise, NVIDIA Mission Control und ausgewählte Cloud-Marketplaces.
Welche verwandten Open-Source-Projekte werden mitgeliefert?
Zwei angrenzende Projekte vervollständigen den Stack. Model Streamer streamt Modellgewichte direkt in den GPU-Speicher. vLLM und SGLang ermöglichen dies mit --load-format runai_streamer.
Microsofts veröffentlichtem Benchmark verwendete 8 NVIDIA H100 VMs. Er zeigte 3x bis 6x schnelleres Laden als der Standard-Loader. Der Durchsatz lag bei 80 Gbps gegenüber etwa 40 Gbps auf dem Standardpfad.
Grove orchestriert mehrkomponentige Inferenz-Workloads. Es startet Komponenten wie Prefill und Decode als All-or-Nothing-Einheiten.
Wie schneidet NVIDIA Run:ai im Vergleich zu anderen Open-Source-Kubernetes-Schedulern ab?
| Feature | NVIDIA Run:ai (open source) | Volcano | Kueue | Apache YuniKorn |
|---|---|---|---|---|
| Lizenz | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Governance | NVIDIA DSX AI Factory org (KAI Scheduler: CNCF Sandbox) | CNCF Incubating | kubernetes-sigs (wg-batch) | Apache Software Foundation |
| Umfang | Gesamte Plattform: Control Plane, UI, CLI, REST API, MCP-Server | Batch-Scheduling-System | Job-Queueing-Controller | Scheduler, Alternative zum Standard |
| Ersetzt den kube-scheduler | Nein, erweitert ihn um KAI Scheduler | Nicht offengelegt | Nein | Ja, als Alternative |
| Gang-Scheduling | Ja | Ja | Timeout-basiertes All-or-nothing | Ja |
| Quota-Hierarchie | Projekte, Abteilungen, Node-Pools | Mehrstufige Queues | Kohorten, Fair Sharing | Hierarchische Queues |
| GPU-Sharing | CUDA 13.4-native Anteile mit harten Speicherlimits | vGPU, dynamisches MIG | DRA-basiertes GPU-Quota; Fractionierung nicht in der Übersicht | Nicht offengelegt |
| Topologie-bewusst | Ja | Ja | Ja | Nicht offengelegt |
| Multi-Cluster | Ja, über die Control Plane | Ja | Ja, MultiKueue | Nicht offengelegt |
| Web-UI | Ja | Separates Dashboard-Projekt | Nicht offengelegt | Nicht offengelegt |
Der entscheidende Unterschied liegt im Umfang. Volcano, Kueue und YuniKorn konzentrieren sich auf Scheduling oder Queueing. Run:ai liefert eine vollständige Management-Plattform auf Basis seines Schedulers.
Kernpunkte
- NVIDIA Run:ai ist jetzt vollständig Open Source unter Apache 2.0.
- 4 Komponenten sind eigenständig verfügbar: KAI Scheduler, GPU Fractioning, Resource Management, Workload Map.
- GPU Fractioning nutzt jetzt CUDA 13.4-native Speicherisolation.
- Die lokale Entwicklungsumgebung läuft auf einem 5-node Kind-Cluster mit 8 simulierten GPUs.
- Die kostenlose Edition schließt NVIDIA-Enterprise-Support aus.
Schauen Sie sich das GitHub-Repoan, den Local-Dev-Guide und NVIDIA’s technischen Blog. Der gesamte Verdienst gebührt dem Forscher dieses Projekts. Folgen Sie uns gerne außerdem auf Twitter und vergessen Sie nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.
Der Beitrag NVIDIA macht Run:ai unter Apache 2.0 als Open Source für Kubernetes-GPU-Orchestrierung verfügbar erschien zuerst auf MarkTechPost.