Deepseek 已根据 Apache License 2.0 开源了其内部推理框架 DeepInfer。 推理是指训练好的 AI 模型处理请求并生成响应的过程。DeepInfer 是一种服务软件，使 Deepseek 的 V4.1-Flash 模型能够大规模快速生成答案。
该框架 构建于 vLLM 之上，具有优化的计算内核、跨多芯片的分布式处理以及更快的文本生成技术。Deepseek 未来模型的代码也将以开源形式发布。Deepseek 还在发布 deepseek-recipe，它复现了官方 Deepseek API 的 token 处理方式，使自托管环境的表现保持一致。
Deepseek 的 模型本身已经非常便宜。DeepInfer 填补了让它以更低成本运行的最后一处空白。其目标是“帮助社区降低计算成本、减少能源消耗，让 AI 更实惠，” 该公司在 X 上表示。但此次发布也给 OpenAI 和 Anthropic 等西方供应商带来了价格压力。鉴于 中美之间的 AI 竞争， 此举可能也带有政治动机。如果西方 AI 公司无法实现增长目标，这将对美国经济乃至更广泛领域构成风险。广告
来源： Deepseek | Github