DeepSeek a annoncé le 20/10 l'ouverture complète du code source de son framework d'inférence interne DeepInfer, une nouvelle ouverture après celle de la série de grands modèles, de l'outil de compilation TileLang et de la bibliothèque d'opérateurs d'inférence. Les responsables soulignent que les limites des capacités d'un grand modèle sont définies par le modèle lui-même, mais la manière de fournir des services de modèles à très grande échelle à un coût raisonnable dépend également du framework d'inférence, cette couche intermédiaire — il coordonne et orchestre d'immenses clusters de puissance de calcul, et son efficacité détermine directement le coût de calcul et la consommation électrique des services d'IA.
DeepInfer intègre des opérateurs haute performance et un moteur d'inférence profondément optimisé, prenant en charge l'inférence distribuée, le décodage spéculatif, SWA Bounded Replay, les sorties structurées et d'autres capacités, tout en étant compatible avec les plateformes NVIDIA et Huawei Ascend. Sur la base de ce framework, DeepSeek a déjà mis en place un service d'inférence massif à haut débit et faible latence pour DeepSeek V4.1Flash, et le code d'inférence des futurs nouveaux modèles ainsi que les optimisations ultérieures continueront d'être mis à jour ici.
deepseek-recipe, open source simultanément, est un composant de production de niveau industriel pour l'encodage et le décodage de tokens, entièrement aligné sur la logique de traitement de l'API officielle de DeepSeek, garantissant que la communauté bénéficie d'une expérience API identique au déploiement officiel ; les deux parties du code sont déjà disponibles sur GitHub, et DeepSeek a par ailleurs publié un rapport technique complet sur Zhihu.
Les responsables indiquent que l'ouverture du framework d'inférence vise, d'une part, à aider les développeurs et les entreprises à optimiser le débit et la latence de l'inférence à grande échelle, et à construire efficacement des déploiements privés et sur cloud public, afin de réduire les coûts de calcul et la consommation d'énergie, permettant ainsi à l'intelligence d'atteindre un public plus large à moindre coût, tout en continuant à soutenir la communauté dans l'optimisation des déploiements à grande échelle. L'ouverture progressive des modèles, de la bibliothèque d'opérateurs et du framework d'inférence prolonge la voie suivie par les grands modèles nationaux chinois : réduire les barrières de l'inférence grâce à un écosystème open source et promouvoir l'accessibilité de l'intelligence.
Dépôts open source
DeepInfer : https://github.com/deepseek-ai/DeepInfer
deepseek-recipe: https://github.com/
deepseek-ai/deepseek-recipe