NVIDIA ha publicado la plataforma completa NVIDIA Run:ai como software de código abierto. El código fuente se distribuye bajo la licencia Apache 2.0 en GitHub. NVIDIA Run:ai open source pone la programación de GPU de producción, las cuotas y la gestión de cargas de trabajo en manos de los desarrolladores. La versión convierte a Run:ai en parte de la plataforma NVIDIA DSX AI Factory. Los equipos de plataforma ahora pueden inspeccionar, bifurcar y autoalojar la pila sin una suscripción de pago.
TL;DR
- Tamaño: Monorepositorio con plano de control, servicios de clúster, instalador, CLI y servidor MCP. Las compilaciones locales de desarrollo comprenden unos 50 servicios en Go.
- Se ejecuta en: Clústeres de Kubernetes u OpenShift con GPU NVIDIA. El desarrollo local se ejecuta en macOS o Linux con 8 GPU Tesla-A10 simuladas, sin necesidad de GPU.
- Rendimiento: NVIDIA no publicó ningún benchmark a nivel de plataforma para esta versión.
- Lo mejor: El Model Streamer relacionado cargó modelos 3x a 6x más rápido en 8 VM con NVIDIA H100 en Azure.
- Lo peor: La edición comunitaria no incluye soporte empresarial de NVIDIA. Las compilaciones locales necesitan 16 GB de RAM y 100 GB de disco en Linux.
¿Qué es NVIDIA Run:ai?
NVIDIA Run:ai es una plataforma de orquestación de GPU y cargas de trabajo de IA para Kubernetes de NVIDIA. Programa cargas de trabajo de desarrollo, entrenamiento e inferencia a través de clústeres de GPU compartidos. Se ejecuta sobre Kubernetes y no lo reemplaza.
El plano de control gestiona el envío de cargas de trabajo, la administración de recursos y la monitorización. Los servicios de clúster se ejecutan en cada clúster de Kubernetes y añaden programación consciente de las GPU. Los usuarios acceden a través de una interfaz web, CLI, API REST y un servidor MCP para asistentes de IA.
¿Cuáles son los 4 componentes modulares?
NVIDIA dividió la versión en 4 componentes que los equipos pueden adoptar de forma independiente:
- KAI Scheduler es el motor de programación nativo de Kubernetes. Es Apache 2.0 y un proyecto Sandbox de la CNCF. Cubre gang scheduling, reparto equitativo basado en tiempo, conciencia de topología, bin-packing y soporte de DRA.
- GPU Fractioning Operator lleva fracciones de GPU nativas de CUDA 13.4 a Kubernetes. El controlador CUDA aplica un límite estricto de memoria por carga de trabajo. NVIDIA retiró su antiguo fraccionamiento propietario en favor de este enfoque. El operador es agnóstico del programador y exporta métricas por pod.
- KAI Resource Management añade proyectos, departamentos, cuotas y grupos de nodos. El ejemplo de NVIDIA garantiza el 50% de un clúster a un equipo de investigación.
- Workload Map es una biblioteca en Go que describe tipos de cargas de trabajo como servicios PyTorchJob, RayCluster y KServe. Funciona sin conexión y no programa, encola ni escala automáticamente.
¿Cómo ejecutan los desarrolladores NVIDIA Run:ai localmente?
La guía de desarrollo local se basa en 1 script, local-dev.sh. Compila unos 50 servicios Go desde el código fuente dentro de contenedores. Luego crea un clúster Kind de 5 nodos fijado a Kubernetes v1.32.5. Un operador de GPU simulado emula 8 GPU Tesla-A10, por lo que no se requiere hardware de GPU.
- Hosts compatibles: macOS o Linux, en amd64 o arm64. Windows no es compatible.
- Los hosts Linux necesitan 4 CPU, 16 GB de RAM y 100 GB de disco libre.
- Las VM de Podman en macOS necesitan al menos 12 GB de RAM.
- 1 compilación completa deja unos 44 GB de cachés.
El --gpu-operator flag cambia a GPU NVIDIA reales. Ese modo requiere Linux, Docker y el NVIDIA Container Toolkit. Los aceleradores de AMD e Intel no son compatibles.
¿Cómo pueden los equipos desplegarlo en producción?
Los equipos de desarrollo pueden desplegar desde el código fuente o desde el Helm chart del NGC Community Product . Esa edición no necesita suscripción de pago, pero excluye el soporte empresarial de NVIDIA.
Los equipos también pueden adoptarlo a través de 8 socios del ecosistema DSX. Estos son Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud y vCluster. Las ediciones comerciales compatibles continúan a través de NVIDIA AI Enterprise, NVIDIA Mission Control y marketplaces selectos en la nube.
¿Qué proyectos de código abierto relacionados se distribuyen junto con este?
Dos proyectos adyacentes completan el stack. Model Streamer transmite los pesos del modelo directamente a la memoria de la GPU. vLLM y SGLang lo habilitan con --load-format runai_streamer.
de Microsoft benchmark publicado usó 8 máquinas virtuales NVIDIA H100. Mostró una carga entre 3x y 6x más rápida que el cargador predeterminado. El rendimiento se mantuvo en 80 Gbps frente a unos 40 Gbps en la ruta predeterminada.
Grove orquesta cargas de trabajo de inferencia de múltiples componentes. Inicia componentes como prefill y decode como unidades de todo o nada.
¿Cómo se compara NVIDIA Run:ai con otros planificadores de Kubernetes de código abierto?
| Funcionalidad | NVIDIA Run:ai (código abierto) | Volcán | Kueue | Apache YuniKorn |
|---|---|---|---|---|
| Licencia | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Gobernanza | Organización NVIDIA DSX AI Factory (KAI Scheduler: CNCF Sandbox) | CNCF Incubating | kubernetes-sigs (wg-batch) | Apache Software Foundation |
| Alcance | Plataforma completa: plano de control, interfaz de usuario, CLI, API REST, servidor MCP | Sistema de planificación por lotes | Controlador de colas de trabajos | Planificador, alternativa al predeterminado |
| Reemplaza kube-scheduler | No, lo extiende con KAI Scheduler | No divulgado | No | Sí, como alternativa |
| Planificación gang (gang scheduling) | Sí | Sí | All-or-nothing basado en timeout | Sí |
| Jerarquía de cuotas | Proyectos, departamentos, pools de nodos | Colas multinivel | Cohortes, reparto justo | Colas jerárquicas |
| Compartición de GPU | Fracciones nativas de CUDA 13.4 con límites estrictos de memoria | vGPU, MIG dinámico | Cuota de GPU basada en DRA; el fraccionamiento no está en la descripción general | No divulgado |
| Consciente de la topología | Sí | Sí | Sí | No divulgado |
| Multiclúster | Sí, mediante el plano de control | Sí | Sí, MultiKueue | No divulgado |
| Interfaz web | Sí | Proyecto de panel separado | No divulgado | No divulgado |
La diferencia clave es el alcance. Volcano, Kueue y YuniKorn se centran en la planificación o las colas. Run:ai ofrece una plataforma de gestión completa sobre su planificador.
Conclusiones clave
- NVIDIA Run:ai ahora es completamente de código abierto bajo Apache 2.0.
- 4 componentes se distribuyen de forma independiente: KAI Scheduler, GPU Fractioning, Resource Management, Workload Map.
- La fraccionamiento de GPU ahora utiliza aislamiento de memoria nativo de CUDA 13.4.
- El desarrollo local se ejecuta en un clúster Kind de 5 nodos con 8 GPU simuladas.
- La edición gratuita excluye el soporte empresarial de NVIDIA.
Echa un vistazo al repositorio de GitHub, la guía de desarrollo local y el blog técnico de NVIDIA. Todo el mérito es del investigador de este proyecto. Además, no dude en seguirnos en Twitter y no olvide unirse a nuestro ML SubReddit de más de 150k y suscribirse a nuestro boletín. ¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.
La entrada NVIDIA hace open source de Run:ai bajo Apache 2.0 para la orquestación de GPU en Kubernetes apareció primero en MarkTechPost.