IT之家 El 20 de octubre, DeepSeek anunció oficialmente que, basándose en la publicación previa de una serie de modelos grandes, la herramienta de compilación TileLang y la biblioteca de operadores de inferencia, ha decidido hacer público completamente el marco de inferencia interno DeepInfer.
DeepSeek indica oficialmente que los límites de la capacidad del modelo grande son definidos por el propio modelo, pero cómo ofrecer servicios de modelos ultragrandes a un costo razonable depende también de un nivel intermedio que no ha sido comprendido por el público en mucho tiempo: el marco de razonamiento.
El entrenamiento permite que el modelo alcance logros, mientras que la inferencia lo hace útil para las personas. Frente a las enormes cantidades de usuarios actuales, el marco de inferencia se encarga de gestionar y coordinar una gran red de capacidad computacional, y su eficiencia determina directamente los costos de capacidad y el consumo de energía de los servicios de IA.
DeepSeek espera, a través del intercambio de experiencia en la implementación interna, ayudar a desarrolladores y organizaciones empresariales a optimizar el rendimiento y el retraso de las inferencias a gran escala, de modo que se pueda construir eficientemente implementaciones en nube privada y pública, reducir los costos de potencia computacional y disminuir el consumo de energía, permitiendo que la inteligencia llegue a un mayor número de personas a un precio más bajo, logrando una verdadera inclusión de modelos de gran tamaño.
Basado en DeepInfer, DeepSeek oficialmente ha implementado un servicio de inferencia a gran escala con alto rendimiento y baja latencia, DeepSeek V4.1 Flash. En el futuro, los códigos de inferencia de los nuevos modelos de DeepSeek y las optimizaciones posteriores también se actualizarán continuamente en este lugar.
Marco de inferencia DeepInfer: Integra operadores de alto rendimiento y un motor de inferencia optimizado en profundidad, soporta capacidades como inferencia distribuida, decodificación especulativa, SWA Bounded Replay y salida estructurada, y es compatible con las plataformas NVIDIA y Huawei Ascend.
Componente de codificación y decodificación deepseek-recipe: Componente de codificación y decodificación de Token de nivel de producción abierto, que se alinea completamente con el proceso de manejo de la API oficial de DeepSeek, asegurando que la comunidad tenga una experiencia de API consistente con la implementación oficial.
La dirección abierta de IT Home es la siguiente:
DeepInfer: https://github.com/deepseek-ai/DeepInfer
deepseek-recipe: https://github.com/deepseek-ai/deepseek-recipe
Declaración publicitaria: El texto contiene enlaces de redirección hacia el exterior (incluyendo, pero no limitado a hipervínculos, códigos QR, claves, etc.), que sirven para transmitir más información, ahorrar tiempo de selección y los resultados son solo indicativos. Los artículos en IT Home que incluyen enlaces externos contienen esta declaración.