El 20/10, DeepSeek anunció la liberación completa como código abierto de su framework de inferencia interno DeepInfer, una nueva apertura tras la liberación previa de la serie de grandes modelos, la herramienta de compilación TileLang y la biblioteca de operadores de inferencia. La compañía señaló que el límite de las capacidades de los grandes modelos lo establece el propio modelo, pero cómo ofrecer servicios de modelos de escala ultra grande a un costo razonable también depende del framework de inferencia, esa capa intermedia: orquesta y coordina enormes clústeres de potencia de cómputo, y su eficiencia determina directamente el costo de cómputo y el consumo eléctrico de los servicios de IA.
DeepInfer integra operadores de alto rendimiento y un motor de inferencia profundamente optimizado, y admite capacidades como inferencia distribuida, decodificación especulativa, SWA Bounded Replay y salida estructurada, además de ser compatible con las plataformas NVIDIA y Ascend de Huawei. Basándose en este framework, DeepSeek ya ha logrado un servicio de inferencia a gran escala de alto rendimiento y baja latencia para DeepSeek V4.1Flash, y el código de inferencia de los nuevos modelos futuros y las optimizaciones posteriores se seguirán actualizando aquí.
deepseek-recipe, liberado en paralelo como código abierto, es un componente de codificación y decodificación de Tokens de nivel de producción, totalmente alineado con la lógica de procesamiento de la API oficial de DeepSeek, lo que garantiza que la comunidad obtenga una experiencia de API consistente con el despliegue oficial; ambos códigos ya están disponibles en GitHub, y DeepSeek además publicó un informe técnico completo en Zhihu.
Según la compañía, el propósito de liberar el framework de inferencia es, por un lado, ayudar a los desarrolladores y a las organizaciones empresariales a optimizar el rendimiento y la latencia de la inferencia a gran escala, y construir de manera eficiente despliegues privados y en la nube pública, reduciendo así los costos de cómputo y el consumo de energía, para que la inteligencia llegue a un público más amplio a un precio más bajo, y continuarán apoyando a la comunidad en la optimización de despliegues a gran escala. La apertura capa por capa del modelo, la biblioteca de operadores y el framework de inferencia continúa el camino del sector de los grandes modelos nacionales de reducir la barrera de entrada de la inferencia mediante el ecosistema de código abierto y promover la democratización de la inteligencia.
Repositorios de código abierto
DeepInfer: https://github.com/deepseek-ai/DeepInfer.
deepseek-recipe: https://github.com/
deepseek-ai/deepseek-recipe