DeepSeek anunció oficialmente el 20 de octubre que, después de haber hecho público una serie de modelos grandes, la herramienta de compilación TileLang y la biblioteca de operadores de inferencia, decidió dar un paso más: hacer plenamente accesible su propio marco de inferencia interno DeepInfer.
La empresa ha revelado un nivel intermediario que ha sido ignorado por el público durante mucho tiempo: el límite de capacidad de los modelos grandes se determina por el propio modelo, pero cómo mantener servicios de modelos de escala ultra grande a un costo razonable depende realmente del marco de inferencia. El entrenamiento permite que el modelo "aprenda", mientras que la inferencia permite que el modelo "se utilice". Frente a las enormes cantidades de usuarios actuales, el marco de inferencia es responsable de gestionar y coordinar un gran grupo de potencia computacional; su eficiencia determina directamente el costo de la potencia computacional y el consumo de electricidad de los servicios de IA.
DeepSeek quiere, a través de la divulgación de su experiencia en la implementación interna, ayudar a desarrolladores y organizaciones empresariales a optimizar el rendimiento y el retraso del razonamiento a gran escala, lo que permitirá establecer implementaciones en la nube privada o pública de manera más eficiente, reducir los costos de potencia de computación y disminuir el consumo de energía. De esta forma, la inteligencia podrá llegar a un público más amplio a un precio más bajo, logrando lo que DeepSeek denomina “la inclusión de grandes modelos de inteligencia”.
Basado en DeepInfer, la compañía oficial de DeepSeek ya ha implementado el servicio de inferencia a gran escala de DeepSeek V4.1Flash que ofrece alto rendimiento y baja latencia; en el futuro, los códigos de inferencia de nuevos modelos y las optimizaciones posteriores también se actualizarán continuamente dentro de este marco.
En detalle, el marco de razonamiento DeepInfer integra operadores de alto rendimiento y un motor de razonamiento optimizado en profundidad, y soporta capacidades como razonamiento distribuido, decodificación especulativa, SWA Bounded Replay y salida estructurada. Además, es compatible con ambas plataformas, NVIDIA y Huawei Ascend. Paralelamente, está disponible de forma abierta el componente de codificación y decodificación deepseek-recipe: un módulo de codificación y decodificación de tokens de nivel de producción, que se alinea completamente con la lógica de procesamiento del API oficial de DeepSeek, asegurando que la experiencia del API para la comunidad sea consistente con la implementación oficial. Para quienes desean establecer su propio servicio de razonamiento, esto significa que no es necesario empezar desde cero; se puede apoyarse directamente en la experiencia de implementación de DeepSeek.