NVIDIA가 NVIDIA Run:ai 플랫폼 전체를 오픈 소스 소프트웨어로 공개했습니다. 소스 코드 는 GitHub에서 Apache 2.0 라이선스로 제공됩니다. NVIDIA Run:ai 오픈 소스는 프로덕션 수준의 GPU 스케줄링, 할당량 및 워크로드 관리를 개발자의 손에 쥐여 줍니다. 이번 릴리스로 Run:ai는 NVIDIA DSX AI Factory 플랫폼의 일부가 되었습니다. 이제 플랫폼 팀은 유료 구독 없이도 스택을 검사, 포크 및 자체 호스팅할 수 있습니다.
TL;DR
- 규모: 컨트롤 플레인, 클러스터 서비스, 설치 프로그램, CLI 및 MCP 서버를 포함하는 모노레포입니다. 로컬 개발 빌드는 약 50개의 Go 서비스를 빌드합니다.
- 실행 환경: NVIDIA GPU가 장착된 Kubernetes 또는 OpenShift 클러스터. 로컬 개발은 시뮬레이션된 8개의 Tesla-A10 GPU를 갖춘 macOS 또는 Linux에서 실행되며 GPU가 필요하지 않습니다.
- 성능: NVIDIA는 이번 릴리스에 대해 플랫폼 수준의 벤치마크를 공개하지 않았습니다.
- 장점: 관련된 Model Streamer는 Azure의 8개 NVIDIA H100 VM에서 모델을 3배에서 6배 빠르게 로드했습니다.
- 단점: 커뮤니티 에디션에는 NVIDIA 엔터프라이즈 지원이 없습니다. 로컬 빌드는 Linux에서 16 GB RAM과 100 GB 디스크가 필요합니다.
NVIDIA Run:ai란 무엇인가?
NVIDIA Run:ai는 NVIDIA의 Kubernetes용 AI 워크로드 및 GPU 오케스트레이션 플랫폼입니다. 공유 GPU 클러스터 전반에서 개발, 학습 및 추론 워크로드를 스케줄링합니다. Kubernetes 위에서 실행되며 이를 대체하지 않습니다.
컨트롤 플레인은 워크로드 제출, 리소스 관리 및 모니터링을 처리합니다. 클러스터 서비스는 각 Kubernetes 클러스터에서 실행되며 GPU 인식 스케줄링을 추가합니다. 사용자는 웹 UI, CLI, REST API 및 AI 어시스턴트용 MCP 서버를 통해 접근합니다.
4가지 모듈식 구성 요소란?
NVIDIA는 이번 릴리스를 팀들이 독립적으로 채택할 수 있는 4가지 구성 요소로 나누었습니다:
- KAI Scheduler 는 Kubernetes 네이티브 스케줄링 엔진입니다. Apache 2.0 라이선스이며 CNCF 샌드박스 프로젝트입니다. 갱 스케줄링, 시간 기반 페어 셰어, 토폴로지 인식, 빈 패킹 및 DRA 지원을 다룹니다.
- GPU Fractioning Operator 는 CUDA 13.4 네이티브 GPU 분할을 Kubernetes에 제공합니다. CUDA 드라이버가 워크로드별 하드 메모리 제한을 강제합니다. NVIDIA는 이 방식을 선호하여 이전의 독점 분할 기능을 폐지했습니다. 이 오퍼레이터는 스케줄러에 구애받지 않으며 파드별 메트릭을 내보냅니다.
- KAI Resource Management 는 프로젝트, 부서, 할당량 및 노드 풀을 추가합니다. NVIDIA의 예시는 클러스터의 50%를 연구팀에 보장합니다.
- Workload Map 은 PyTorchJob, RayCluster 및 KServe 서비스와 같은 워크로드 유형을 설명하는 Go 라이브러리입니다. 오프라인에서 작동하며 스케줄링, 큐잉 또는 오토스케일링을 수행하지 않습니다.
개발자는 NVIDIA Run:ai를 로컬에서 어떻게 실행하나요?
이 로컬 개발 가이드 는 1개의 스크립트, local-dev.sh를 기반으로 합니다. 이 스크립트는 컨테이너 내부에서 소스로부터 약 50개의 Go 서비스를 빌드합니다. 그런 다음 Kubernetes v1.32.5에 고정된 5노드 Kind 클러스터를 생성합니다. 가짜 GPU 오퍼레이터가 Tesla-A10 GPU 8개를 시뮬레이션하므로 GPU 하드웨어가 필요하지 않습니다.
- 지원 호스트: amd64 또는 arm64 아키텍처의 macOS 또는 Linux. Windows는 지원되지 않습니다.
- Linux 호스트는 CPU 4개, RAM 16 GB, 여유 디스크 100 GB가 필요합니다.
- macOS Podman VM은 최소 12 GB의 RAM이 필요합니다.
- 1회 전체 빌드 시 약 44 GB의 캐시가 남습니다.
이 --gpu-operator 플래그는 실제 NVIDIA GPU로 전환합니다. 해당 모드는 Linux, Docker 및 NVIDIA Container Toolkit이 필요합니다. AMD 및 Intel 가속기는 지원되지 않습니다.
팀은 프로덕션 환경에 어떻게 배포할 수 있나요?
개발 팀은 소스에서 배포하거나 NGC Community Product Helm 차트에서 배포할 수 있습니다. 이 에디션은 유료 구독이 필요 없지만 NVIDIA 엔터프라이즈 지원은 포함되지 않습니다.
팀은 8개의 DSX 생태계 파트너를 통해서도 이를 도입할 수 있습니다. 이들은 Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud 그리고 vCluster입니다. 지원되는 상용 에디션은 NVIDIA AI Enterprise, NVIDIA Mission Control 및 일부 클라우드 마켓플레이스를 통해 계속 제공됩니다.
관련 오픈 소스 프로젝트는 어떤 것들이 함께 제공되나요?
두 개의 인접 프로젝트가 스택을 완성합니다. Model Streamer 는 모델 가중치를 GPU 메모리로 직접 스트리밍합니다. vLLM 과 SGLang이 이를 지원하며, --load-format runai_streamer.
Microsoft의 공개 벤치마크 에서는 8개의 NVIDIA H100 VM을 사용했습니다. 기본 로더보다 3배에서 6배 빠른 로딩 속도를 보여주었으며, 처리량은 기본 경로의 약 40 Gbps 대비 80 Gbps를 유지했습니다.
Grove 는 다중 구성 요소 추론 워크로드를 오케스트레이션합니다. prefill과 decode 같은 구성 요소를 all-or-nothing 단위로 시작합니다.
NVIDIA Run:ai는 다른 오픈 소스 Kubernetes 스케줄러와 어떻게 비교되나요?
| 기능 | NVIDIA Run:ai (open source) | Volcano | Kueue | Apache YuniKorn |
|---|---|---|---|---|
| 라이선스 | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| 거버넌스 | NVIDIA DSX AI Factory org (KAI Scheduler: CNCF Sandbox) | CNCF Incubating | kubernetes-sigs (wg-batch) | Apache Software Foundation |
| 범위 | 전체 플랫폼: 컨트롤 플레인, UI, CLI, REST API, MCP 서버 | 배치 스케줄링 시스템 | 잡 큐잉 컨트롤러 | 스케줄러, 기본 스케줄러의 대안 |
| kube-scheduler를 대체 | 아니요, KAI Scheduler로 확장함 | 공개되지 않음 | 아니요 | 예, 대안으로서 |
| 갱 스케줄링 | 예 | 예 | 타임아웃 기반 올-오어-노싱 | 예 |
| 쿼터 계층 구조 | 프로젝트, 부서, 노드 풀 | 다단계 큐 | 코호트, 공정 공유 | 계층적 큐 |
| GPU 공유 | 하드 메모리 제한이 있는 CUDA 13.4 네이티브 분할 | vGPU, 동적 MIG | DRA 기반 GPU 쿼터, 분할 기능은 개요에 없음 | 공개되지 않음 |
| 토폴로지 인식 | 예 | 예 | 예 | 공개되지 않음 |
| 멀티 클러스터 | 예, 컨트롤 플레인을 통해 | 예 | 예, MultiKueue | 공개되지 않음 |
| 웹 UI | 예 | 별도의 대시보드 프로젝트 | 공개되지 않음 | 공개되지 않음 |
핵심 차이는 범위입니다. Volcano, Kueue, YuniKorn은 스케줄링 또는 큐잉에 집중합니다. Run:ai는 자체 스케줄러 위에 완전한 관리 플랫폼을 제공합니다.
핵심 요약
- NVIDIA Run:ai가 이제 Apache 2.0 라이선스로 완전히 오픈 소스화되었습니다.
- 4개 구성 요소가 독립형으로 제공됩니다: KAI Scheduler, GPU Fractioning, Resource Management, Workload Map.
- GPU fractioning은 이제 CUDA 13.4 네이티브 메모리 격리를 사용합니다.
- 로컬 개발은 시뮬레이션된 GPU 8개를 갖춘 5노드 Kind 클러스터에서 실행됩니다.
- 무료 에디션에는 NVIDIA 엔터프라이즈 지원이 포함되어 있지 않습니다.
확인해 보세요: GitHub 저장소, 로컬 개발 가이드 그리고 NVIDIA의 기술 블로그. 이 프로젝트의 연구원에게 모든 공이 돌아갑니다. 또한 Twitter 에서 저희를 팔로우하고 150k+ ML SubReddit 에 가입하며 저희 뉴스레터를 구독하는 것도 잊지 마세요. 잠깐! 텔레그램을 사용하시나요? 이제 텔레그램에서도 저희와 함께할 수 있습니다.
이 글 NVIDIA, Kubernetes GPU 오케스트레이션을 위해 Run:ai를 Apache 2.0 라이선스로 오픈 소스화 은 다음에서 처음 게재되었습니다: MarkTechPost.