Deepseek a publié en open source DeepInfer, son framework d'inférence interne, sous la licence Apache 2.0. L'inférence est la manière dont un modèle d'IA entraîné traite les requêtes et génère des réponses. DeepInfer est le logiciel de service qui permet au modèle V4.1-Flash de Deepseek de produire des réponses rapidement et à grande échelle.
Le framework s'appuie sur vLLM avec des kernels de calcul optimisés, un traitement distribué sur plusieurs puces et des techniques de génération de texte plus rapides. Le code des futurs modèles de Deepseek sera également publié en open source. Deepseek publie aussi deepseek-recipe, qui reproduit le traitement des tokens de l'API officielle de Deepseek afin que les installations auto-hébergées se comportent de la même manière.
Les modèles de Deepseek sont déjà très bon marché. DeepInfer comble la dernière lacune pour les exécuter à un coût encore plus faible. L'objectif est « d'aider la communauté à réduire les coûts de calcul, à diminuer la consommation d'énergie et à rendre l'IA plus abordable », a déclaré l'entreprise sur X. Mais cette publication ajoute aussi une pression sur les prix des fournisseurs occidentaux comme OpenAI et Anthropic. Compte tenu de la course à l'IA entre la Chine et les États-Unis, ce mouvement pourrait aussi être motivé politiquement. Si les entreprises d'IA occidentales manquent leurs objectifs de croissance, c'est un risque pour l'économie américaine et au-delà.Pub
Source : Deepseek | Github