DeepSeek ha publicado como código abierto DeepInfer, el framework de inferencia que ejecuta sus servicios de producción. El framework de inferencia DeepInfer de DeepSeek es el motor detrás de DeepSeek-V4.1-Flash. Se distribuye bajo la licencia Apache 2.0. DeepSeek también lanzó deepseek-recipe, su capa de codificación y decodificación de tokens con licencia MIT. Para los desarrolladores, esta es una rara oportunidad de ver el stack de serving real de un laboratorio de frontera.
TL;DR
- Tamaño / alcance: 1 modelo compatible (DeepSeek-V4.1-Flash), ventana de contexto de 1M de tokens según la ficha del modelo.
- Se ejecuta en: GPUs NVIDIA SM100 (Blackwell) y NPUs Huawei Ascend 950. Los benchmarks usaron 4 GPUs para prefill y 64 para decode.
- Rendimiento: Throughput de grado de producción; DeepSeek dice que 1 clúster sirve 155 billones de tokens al día.
- Mejor: Más de 25,000 tokens de salida/s/GPU a 256 solicitudes por rank (EP64, 131,072 de contexto).
- Peor: Solo inferencia sin conexión. El sistema de KV cache, la disagregación P/D y el balanceo de carga no están incluidos.
¿Qué es DeepInfer?
DeepInfer es un motor de inferencia de alto rendimiento de DeepSeek para sus propios modelos. Según su GitHub README, impulsa los servicios de producción a gran escala de DeepSeek. Esta versión cubre la inferencia sin conexión con las funciones principales necesarias a gran escala. Fue construido originalmente principalmente sobre vLLM, con ideas de SGLang y TensorRT-LLM.
La sección de preguntas y respuestas sobre el despliegue proporciona el contexto de producción. Un solo clúster atiende 155 billones de tokens por día. DeepSeek informa unos ingresos generales de 38 US$ por hora de GPU a precios de valle.
¿Cómo funciona DeepInfer?
El motor apila los kernels de DeepSeek: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect y kernels personalizados de TileLang. Encima se sitúan 5 ideas a nivel de sistema.
Paralelismo: Attention DP más Wide-EP
La atención usa paralelismo de datos. Las capas MoE usan paralelismo de expertos con un balanceador de carga a nivel de expertos (EPLB). El decode se ejecuta con EP64 a EP128 dentro de un supernodo. El prefill usa el EP más pequeño que permita la memoria, típicamente EP2 a EP8.
DSpark: decodificación especulativa con programación por confianza
Un modelo borrador propone 5 tokens por paso. Un Confidence Head predice la tasa de aceptación de cada token borrador. El planificador verifica entonces solo el prefijo más valioso. Según las preguntas y respuestas, esto reduce los tokens borrador verificados en aproximadamente un 30% (de 5.00 a entre 3.2 y 4.4). La longitud aceptada apenas se mueve (3.29 frente a 3.20).
Replay acotado de SWA
En un acierto de caché, DeepInfer recalcula solo los últimos 128 tokens del estado de atención de ventana deslizante. Esto hace que el coste de recálculo sea constante, independientemente de la longitud del contexto. En las capas del decodificador, DeepSeek dice que esto reduce casi a la mitad el cómputo total de prefill.
Programación asíncrona, determinismo y salida estructurada
La programación de lotes en CPU se solapa con la ejecución en GPU, de modo que la GPU nunca queda inactiva entre pasos. La inferencia invariante por lotes y el muestreo determinista están disponibles solo en NVIDIA. Las salidas estructuradas admiten expresiones regex, esquemas JSON y gramáticas EBNF.
¿Qué tan rápido es DeepInfer?
DeepSeek publica curvas de Pareto para DeepSeek-V4.1-Flash a 131,072 de contexto. El prefill se ejecutó en 4 GPUs SM100; el decode se ejecutó en 64. Las cifras siguientes se leen de esos gráficos y son autorreportadas.
- Decode (EP64DP64, nextn=3, 75% de aceptación): Más de 25,000 tokens/s/GPU a 256 solicitudes por rank, cerca de 100 tokens/s por usuario. A 8 solicitudes, la velocidad por usuario supera los 300 tokens/s.
- Prefill (EP4DP4, replay acotado de 140 tokens): Aproximadamente 60,000 tokens no cacheados/s/GPU a 4,096 tokens por rank. El rendimiento se acerca a 90,000 a 65,536 tokens, con unos 730 ms por paso.
- Beneficio de Wide-EP: Un gráfico de EP8 frente a EP64 muestra a EP64 por delante en todos los tamaños de lote.
La verificación dinámica de DSpark añade un 4% a 7% de rendimiento a unas 60 secuencias por rank. A 16 secuencias por rank es un 1.5% más lento que la verificación fija de 5 tokens.
¿Cómo se compara DeepInfer con vLLM, SGLang y TensorRT-LLM?
| Función | DeepInfer | vLLM | SGLang | TensorRT-LLM |
|---|---|---|---|---|
| Maintainer | DeepSeek | proyecto vLLM | proyecto SGLang | NVIDIA |
| Licencia | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Cobertura de modelos | 1 (DeepSeek-V4.1-Flash) | más de 200 arquitecturas | LLMs, VLMs, difusión | Matriz de compatibilidad |
| Hardware | NVIDIA SM100, Huawei Ascend 950 | NVIDIA, AMD, Intel, CPUs, plugins incl. Ascend, TPU | NVIDIA, AMD, TPU, Intel, Apple, Ascend, Moore Threads | GPUs NVIDIA |
| Paralelismo de expertos | Sí, con EPLB | Sí | Sí | Wide-EP |
| Decodificación especulativa | DSpark, confidence-scheduled | n-gram, suffix, EAGLE, DFlash | Sí, mediante borradores de SpecForge | Sí |
| Desagregación P/D | No en esta versión | Sí (prefill, decode, encode) | Vía llm-d, Dynamo y otros | Sí |
| Servicio en línea | Solo inferencia sin conexión | Servidor compatible con OpenAI | Sí | Sí |
¿Cuáles son las limitaciones de DeepInfer?
Un servicio completo todavía necesita un sistema de caché KV y una desagregación VE/Prefill/Decode. También necesita equilibrio de carga entre réplicas en paralelo de datos. El equipo de DeepSeek afirma que esos componentes están estrechamente acoplados a su infraestructura interna.
El hardware es limitado. Las compilaciones requieren Linux, GCC 13 o posterior, Python 3.12 y CUDA 13 o CANN 9.2. La unidad de producción eficiente más pequeña es de 64 GPUs de prefill más 64 GPUs de decode. El núcleo de decodificación FlashMLA interno es entre un 5% y un 10% más rápido que el público. De extremo a extremo, DeepSeek sitúa la diferencia en un 5% o menos.
Conclusiones clave
- DeepInfer es el motor de producción de DeepSeek, ahora bajo Apache 2.0 en GitHub.
- Solo es compatible con DeepSeek-V4.1-Flash, en NVIDIA SM100 y Ascend 950.
- El decode supera los 25,000 tokens/s/GPU en 64 GPUs (autoinformado).
- DSpark reduce los tokens de borrador verificados en aproximadamente un 30% con una aceptación casi igual.
- Solo sin conexión: sin almacén de caché KV, sin desagregación P/D ni equilibrador de carga.
Consulta el repositorio de GitHub, preguntas y respuestas sobre despliegue, deepseek-recipe y la ficha del modelo. Todo el mérito es del investigador de este proyecto. Además, no dudes en seguirnos en Twitter y no olvides unirte a nuestro SubReddit de ML de más de 150k y suscribirte a nuestro boletín. ¡Espera! ¿estás en Telegram? ahora también puedes unirte a nosotros en Telegram.
La entrada DeepSeek hace open source de DeepInfer, el framework de inferencia detrás de DeepSeek-V4.1-Flash apareció primero en MarkTechPost.