DeepSeekは10月20日に公式発表を行った。一連の大規模モデル、TileLangコンパイルツール、推理オペレーターライブラリを順次オープンソース化した後、さらに一歩進んで、自社の内部推理フレームワークDeepInferを完全にオープンソースにすることを決定した。
この会社は、長期にわたって一般の人々に見過ごされてきた中間層を明らかにした。大規模モデルの能力の上限はモデル自体によって決定されるが、超大規模なモデルサービスを合理的なコストで実現する方法は、実際には推論フレームワークにかかっている。トレーニングはモデルに「学習を遂げさせる」ものであり、推論はモデルを「利用可能にする」ものである。現在のように膨大な数のユーザーが呼び出される状況では、推論フレームワークが巨大な計算能力クラスターを調整する役割を担い、その効率はAIサービスの計算能力コストと電力消費に直接影響する。
DeepSeekは、内部のデプロイ経験を公開することで、開発者と企業組織が大規模な推論の処理能力と遅延を最適化し、プライベートまたはパブリッククラウドのデプロイをより効率的に行えるように支援します。これにより、コンピューティングコストを下げ、エネルギー消費を減らし、スマート機能がより低価格でより多くの人々に利用可能になるようにし、彼が言う「大規模モデルの普及」を実現します。
DeepInferを基に、DeepSeek公式チームはDeepSeek V4.1Flashの高吞吐量・低遅延大規模推論サービスを実装しています。今後、新しいモデルの推論コードやその後の最適化もこのフレームワーク内で継続的に更新される予定です。
具体的に言うと、DeepInfer推論フレームワークは高性能演算器と深層最適化された推論エンジンを統合しており、分散型推論、推測デコーディング、SWA Bounded Replay、構造化出力などの機能をサポートし、NVIDIAと華為昇腾の二つのプラットフォームに対応しています。同時にオープンソースとして公開されているのがdeepseek-recipe符号化・デコーディングコンポーネントです——これは生産レベルのToken符号化・デコーディングモジュールであり、DeepSeek公式APIの処理ロジックと完全に一致しており、コミュニティが得るAPIの体験が公式デプロイと一致することを保証しています。 自分で推論サービスを構築したい人にとって、これは何もゼロから始める必要がなく、ディープシークの導入経験を直接活用できるという意味です。