DeepSeekが、社内推論フレームワークDeepInferをApache License 2.0の下でオープンソース化しました。 推論とは、訓練済みのAIモデルがリクエストを処理し、応答を生成する仕組みです。DeepInferは、DeepSeekのV4.1-Flashモデルが大規模かつ高速に回答を生成できるようにするサービングソフトウェアです。
このフレームワーク 〜に基づいて構築する vLLM 「最適化された計算カーネル、複数チップにまたがる分散処理、より高速なテキスト生成技術を備えています。今後のDeepSeekモデルのコードもオープンソースとして提供される予定です。DeepSeekはまた、リリースしています」 deepseek-recipe、これは公式のDeepseek APIのトークン処理を再現するものであり、セルフホスト環境でも同じ動作になるようにします。
Deepseekの モデルはすでに非常に安価になっています「. DeepInferは、それらをさらに安価に実行するための最後のギャップを埋めるものです。目標は「コミュニティが計算コストを下げ、エネルギー使用を削減し、AIをより手頃な価格にすることを支援する」ことです」 同社はXで述べた。しかし、今回のリリースは、OpenAIやAnthropicといった西側プロバイダーにも価格面での圧力をかける。 中国と米国の間のAI競争、 この動きには政治的な意図もある可能性がある。欧米のAI企業が成長目標を達成できなければ、それは米国経済そしてそれ以外にもリスクとなる。Ad
出典: Deepseek | Github