Deepseek hat DeepInfer, sein internes Inferenz-Framework, unter der Apache License 2.0 als Open Source veröffentlicht. Inferenz ist der Prozess, bei dem ein trainiertes KI-Modell Anfragen verarbeitet und Antworten generiert. DeepInfer ist die Serving-Software, die es Deepseek's V4.1-Flash-Modell ermöglicht, schnell und im großen Maßstab Antworten zu erzeugen.
Das Framework baut auf vLLM auf, mit optimierten Compute-Kernels, verteilter Verarbeitung über mehrere Chips und schnelleren Textgenerierungstechniken. Der Code künftiger Deepseek-Modelle wird ebenfalls als Open Source erscheinen. Deepseek veröffentlicht außerdem deepseek-recipe, das die Token-Verarbeitung der offiziellen Deepseek-API nachbildet, sodass selbst gehostete Setups sich genauso verhalten.
Deepseek's Modelle sind bereits extrem günstig. DeepInfer schließt die letzte Lücke, um sie noch günstiger zu betreiben. Das Ziel sei es, "der Community zu helfen, die Rechenkosten zu senken, den Energieverbrauch zu reduzieren und KI erschwinglicher zu machen", sagte das Unternehmen auf X. Doch die Veröffentlichung erhöht auch den Preisdruck auf westliche Anbieter wie OpenAI und Anthropic. Angesichts des KI-Wettrennens zwischen China und den USA, könnte der Schritt auch politisch motiviert sein. Wenn westliche KI-Unternehmen ihre Wachstumsziele verfehlen, ist das ein Risiko für die US-Wirtschaft und darüber hinaus.Werbung
Quelle: Deepseek | Github