DeepSeek open-source DeepInfer, le framework d'inférence derrière DeepSeek-V4.1-Flash

DeepSeek a open-sourcé DeepInfer, le framework d'inférence qui fait tourner ses services de production. Le framework d'inférence DeepInfer de DeepSeek est le moteur derrière DeepSeek-V4.1-Flash. Il est publié sous la licence Apache 2.0. DeepSeek a également publié deepseek-recipe, sa couche d'encodage et de décodage de tokens sous licence MIT. Pour les développeurs, c'est un rare aperçu de la véritable pile de service d'un laboratoire de pointe.

TL;DR

• Taille / portée : 1 modèle pris en charge (DeepSeek-V4.1-Flash), fenêtre de contexte de 1M de tokens selon la fiche du modèle.
• Fonctionne sur : GPU NVIDIA SM100 (Blackwell) et NPU Huawei Ascend 950. Les benchmarks ont utilisé 4 GPU pour le prefill et 64 pour le decode.
• Performance : Débit de qualité production ; DeepSeek indique qu'1 cluster sert 155 trillions de tokens par jour.
• Le meilleur : Plus de 25,000 tokens de sortie/s/GPU à 256 requêtes par rang (EP64, 131,072 de contexte).
• Le pire : Inférence hors ligne uniquement. Le système de cache KV, la désagrégation P/D et l'équilibrage de charge ne sont pas inclus.

Qu'est-ce que DeepInfer ?

DeepInfer est un moteur d'inférence haute performance de DeepSeek pour ses propres modèles. Selon son GitHub README, il alimente les services de production à grande échelle de DeepSeek. Cette version couvre l'inférence hors ligne avec les fonctionnalités de base nécessaires à grande échelle. Il a été construit à l'origine principalement sur vLLM, avec des idées issues de SGLang et TensorRT-LLM.

Le déploiement Q&A donne le contexte de production. Un seul cluster sert 155 trillions de tokens par jour. DeepSeek rapporte un revenu global de 38 US$ par GPU-heure aux tarifs de la vallée.

Comment fonctionne DeepInfer ?

Le moteur empile les kernels de DeepSeek : FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect et des kernels TileLang personnalisés. Par-dessus se trouvent 5 idées au niveau système.

Parallélisme : Attention DP plus Wide-EP

L'attention utilise le parallélisme de données. Les couches MoE utilisent le parallélisme d'experts avec un répartiteur de charge expert-parallel (EPLB). Le décodage s'exécute en EP64 à EP128 à l'intérieur d'un supernœud. Le prefill utilise le plus petit EP que la mémoire permet, typiquement EP2 à EP8.

DSpark : décodage spéculatif programmé par confiance

Un modèle draft propose 5 tokens par étape. Une Confidence Head prédit le taux d'acceptation de chaque token draft. Le planificateur ne vérifie alors que le préfixe le plus précieux. Selon le Q&A, cela réduit d'environ 30 % les tokens draft vérifiés (5.00 à 3.2 à 4.4). La longueur acceptée bouge à peine (3.29 contre 3.20).

Rejeu borné SWA

En cas de succès de cache, DeepInfer recalcule uniquement les 128 derniers tokens de l'état d'attention à fenêtre glissante. Cela rend le coût de recomputation constant, quelle que soit la longueur du contexte. Dans les couches du décodeur, DeepSeek indique que cela réduit presque de moitié le calcul total de prefill.

Ordonnancement asynchrone, déterminisme et sortie structurée

L'ordonnancement des lots CPU se chevauche avec l'exécution GPU, de sorte que le GPU ne reste jamais inactif entre les étapes. L'inférence invariante par lot et l'échantillonnage déterministe sont disponibles sur NVIDIA uniquement. Les sorties structurées prennent en charge les regex, les schémas JSON et les grammaires EBNF.

Quelle est la vitesse de DeepInfer ?

DeepSeek publie des courbes de Pareto pour DeepSeek-V4.1-Flash à 131,072 de contexte. Le prefill a tourné sur 4 GPU SM100 ; le décodage sur 64. Les chiffres ci-dessous sont lus sur ces graphiques et sont auto-déclarés.

• Décodage (EP64DP64, nextn=3, 75 % d'acceptation) : Plus de 25,000 tokens/s/GPU à 256 requêtes par rank, soit près de 100 tokens/s par utilisateur. À 8 requêtes, la vitesse par utilisateur dépasse 300 tokens/s.
• Prefill (EP4DP4, rejeu borné de 140 tokens) : Environ 60,000 tokens non mis en cache par seconde et par GPU à 4,096 tokens par rank. Le débit approche 90,000 à 65,536 tokens, avec environ 730 ms par étape.
• Gain du Wide-EP : Un graphique EP8 vs EP64 montre l'EP64 en tête à chaque taille de lot.

La vérification dynamique de DSpark ajoute 4 % à 7 % de débit à environ 60 séquences par rank. À 16 séquences par rank, elle est 1.5 % plus lente que la vérification fixe à 5 tokens.

Comment DeepInfer se compare-t-il à vLLM, SGLang et TensorRT-LLM ?

Quelles sont les limites de DeepInfer ?

Un service complet nécessite encore un système de cache KV et une désagrégation VE/Prefill/Decode. Il nécessite également un équilibrage de charge entre les réplicas data-parallèles. L'équipe DeepSeek indique que ces composants sont étroitement liés à son infrastructure interne.

Le matériel est restreint. Les builds nécessitent Linux, GCC 13 ou ultérieur, Python 3.12, et CUDA 13 ou CANN 9.2. La plus petite unité de production efficace est de 64 GPU de prefill plus 64 GPU de decode. Le noyau de décodage interne FlashMLA est 5 % à 10 % plus rapide que la version publique. De bout en bout, DeepSeek estime l'écart à 5 % ou moins.

Points clés à retenir

• DeepInfer est le moteur de production de DeepSeek, désormais sous Apache 2.0 sur GitHub.
• Il ne prend en charge que DeepSeek-V4.1-Flash, sur NVIDIA SM100 et Ascend 950.
• Le decode dépasse 25,000 tokens/s/GPU sur 64 GPU (autodéclaré).
• DSpark réduit les tokens de draft vérifiés d'environ 30 % avec une acceptation quasi équivalente.
• Hors ligne uniquement : pas de magasin de cache KV, ni de désagrégation P/D, ni d'équilibreur de charge.

Découvrez le dépôt GitHub, la FAQ de déploiement, deepseek-recipe et la fiche du modèle. Tout le crédit revient au chercheur de ce projet. N'hésitez pas également à nous suivre sur Twitter et n'oubliez pas de rejoindre notre 150k+ML SubReddit et de vous abonner à notre Newsletter. Attendez ! êtes-vous sur telegram ? vous pouvez désormais également nous rejoindre sur telegram.

L'article DeepSeek rend open source DeepInfer, le framework d'inférence derrière DeepSeek-V4.1-Flash est appru en premier sur MarkTechPost.