DeepSeek は10月20日、内部推論フレームワーク DeepInfer を全面オープンソース化すると発表した。これは、以前にオープンソース化したシリーズ大型モデル、TileLang コンパイルツールおよび推論オペレータライブラリに続くさらなる公開である。公式は、大型モデルの能力の限界はモデル自体が定めるが、合理的なコストで超大规模モデルサービスを提供するかどうかは、推論フレームワークという中間層にかかっていると指摘する——同層は膨大な計算クラスタを統括・スケジューリングし、その効率が AI サービスの計算コストと電力消費を直接決定する。
DeepInfer は高性能オペレータと深く最適化された推論エンジンを統合し、分散推論、推測デコーディング、SWA Bounded Replay、構造化出力などの機能をサポートし、同時に NVIDIA とファーウェイ昇騰（Ascend）プラットフォームに対応している。同フレームワークに基づき、DeepSeek は DeepSeek V4.1Flash の高スループット・低レイテンシの大規模推論サービスをすでに実現しており、今後の新モデルの推論コードおよびその後の最適化も引き続きここで更新される。
同時にオープンソース化された deepseek-recipe は本番レベルの Token エンコード・デコードコンポーネントで、DeepSeek 公式 API の処理ロジックと完全に一致しており、コミュニティが公式デプロイと同一の API 体験を得られることを保証する。両コードはすでに GitHub で公開されており、DeepSeek はさらに知乎（ジフー）で完全な技術レポートを発表した。
公式は、推論フレームワークのオープンソース化の目的の一つは、開発者や企業組織が大規模推論のスループットとレイテンシを最適化し、プライベートおよびパブリッククラウドへのデプロイを効率的に構築できるよう支援することにあり、それによって計算コストを下げ、エネルギー消費を減らし、より低い価格で知能をより幅広い人々に届けると述べ、コミュニティによる大規模デプロイ最適化への支援を続けるとした。モデル、オペレータライブラリ、推論フレームワークの層ごとの公開は、オープンソースエコシステムによって推論のハードルを下げ、知能の普及を推進する中国国産大型モデルの業界の道筋を受け継ぐものである。
オープンソースリポジトリ
DeepInfer（https://github.com/deepseek-ai/DeepInfer）
deepseek-recipe: https://github.com/
deepseek-ai/deepseek-recipe