IT之家 10月20日の報道によると、DeepSeekは本日、以前に一連の大規模モデル、TileLangコンパイルツール、および推論オペレータライブラックをオープンソース化した基盤の上で、内部推論フレームワークDeepInferをさらに完全にオープンソース化することを決定したと発表しました。
DeepSeekは公式に、大規模モデルの能力の境界はモデル自体が決定するものだと述べていますが、合理的なコストで超大規模なモデルサービスを提供する方法については、長期にわたって一般に知られていない中間層である推論フレームワークに依存すると言っています。
トレーニングによりモデルが成果を上げ、推論によりモデルが利用される。現在の大量のユーザー呼び出しに対して、推論フレームワークは巨大な計算能力クラスターを調整する役割を担い、その効率はAIサービスの計算能力コストと電力消費を直接決定する。
DeepSeekは、内部の導入経験を共有することで、開発者と企業組織が大規模な推論のスループットと遅延を最適化するための支援これにより、プライベートクラウドおよびパブリッククラウドの導入を効率的に実施でき、コンピューティングコストを低減し、エネルギー消費を削減することができる。こうして、スマートサービスをより低価格でより多くの人々に提供できるようになる。真の大モデルの普及を実現する。
DeepInferを基に、DeepSeek公式はDeepSeek V4.1 Flash高吞吐量、低遅延の大規模推論サービスを実現しました。今後、DeepSeekの新しいモデルの推論コードおよびその後の最適化も、ここで継続的に更新されます。
DeepInfer 推論フレームワーク：高機能演算器と深層最適化された推論エンジンを統合し、分散型推論、推測デコード、SWA Bounded Replay、構造化出力などの機能をサポートし、NVIDIAおよびHuawei昇腾プラットフォームと互換性があります。
deepseek-recipe エンコード・デコードコンポーネント：オープンソースのプロダクション級 Token エンコード・デコードコンポーネントで、DeepSeek 公式 API の処理ロジックと完全に一致しています。これにより、コミュニティが公式環境と同じ API 体験を得られるようになります。
IT之家のオープンソースアドレスは以下の通りです：
DeepInfer：https://github.com/deepseek-ai/DeepInfer
deepseek-recipe：https://github.com/deepseek-ai/deepseek-recipe
広告声明：この文章には、外部へのジャンプリンクが含まれています（ハイパーリンク、QRコード、パスワードなどを含む）。これは、より多くの情報を提供し、選択時間を節約するためのものです。結果は参考値に過ぎず、IT之家で外部リンクが含まれる記事にはこの声明が適用されます。