DeepSeek gab am selben Tag offiziell bekannt, dass es nach einer Reihe großer Modelle, dem TileLang-Compiler-Tool und einer Inferenz-Operator-Bibliothek nun sein eigenes internes Inferenz-Framework DeepInfer vollständig open sourced. Was das Unternehmen ergänzen will, ist ein Bereich, der lange außerhalb des Scheinwerferlichts stand – das Inferenz-Framework.
Nach DeepSeek-Definition wird die Obergrenze der Fähigkeiten eines Modells vom Modell selbst bestimmt, doch wie man superskalierende Modelle zu vernünftigen Kosten bereitstellt, hängt von dieser Zwischenarchitektur ab. Das Training lässt ein Modell Wissen erwerben, die Inferenz macht es erst für Menschen nutzbar. Wenn riesige Nutzerzahlen gleichzeitig Anfragen stellen, koordiniert das Inferenz-Framework die komplexen Rechencluster; seine Effizienz beeinflusst direkt die Rechenkosten und den Stromverbrauch von KI-Diensten. Es zieht zwar nicht so viel Aufmerksamkeit auf sich wie Modellgewichte, ist aber die entscheidende Drehscheibe, um Laborfähigkeiten in die Realität zu bringen.
Open Source bedeutet nicht nur Code bereitzustellen, sondern auch den Preis für KI-Nutzung zu senken
DeepSeek's Absicht ist klar: Die internen Deployment-Erfahrungen offenlegen, um Entwicklern und Unternehmen zu helfen, den Durchsatz und die Latenz groß angelegter Inferenz zu optimieren, damit private oder Public-Cloud-Deployments effizienter aufgebaut, Rechenkosten gesenkt und weniger Strom verbraucht werden können. Kurz gesagt: Intelligenz zu einem günstigeren Preis für mehr Menschen zugänglich machen und die „wahre Demokratisierung großer Modelle“ verwirklichen.
Dieses Framework ist kein leeres Versprechen. Auf Basis von DeepInfer hat DeepSeek offiziell bereits einen hochdurchsatzigen, latenzarmen groß angelegten Inferenzdienst für DeepSeek V4.1 Flash am Laufen; künftig werden auch der Inferenz-Code neuer Modelle sowie nachfolgende Optimierungen hier kontinuierlich aktualisiert. Der öffentlichen Fähigkeitenliste zufolge integriert DeepInfer leistungsstarke Operatoren und eine tiefenoptimierte Inferenz-Engine, unterstützt Funktionen wie verteilte Inferenz, Speculative Decoding, SWA Bounded Replay und strukturierte Ausgaben und ist zugleich mit den beiden Plattformen Nvidia und Huawei Ascend kompatibel – in einer Zeit, in der Exportkontrollen den heimischen Ersatz erzwingen, ist diese „beide Stacks abdeckende“ Anpassung für inländische Entwickler besonders wertvoll.
Zusammen mit dem Framework wurde auch deepseek-recipe als Open Source veröffentlicht – eine produktionsreife Token-Encoder-/Decoder-Komponente, deren Verarbeitungslogik vollständig mit der offiziellen DeepSeek-API übereinstimmt, sodass die Community genau dasselbe Erlebnis erhält wie beim offiziellen Deployment. Die beiden Codebasen sind auf GitHub unter deepseek-ai/DeepInfer und deepseek-ai/deepseek-recipe gehostet.
Von Modellen über Operator-Bibliotheken bis hin zum Inferenz-Framework trägt DeepSeek das gesamte Handwerk des „Modellbaus“ in die Open-Source-Community. Da die Rechenkosten die größte Hürde für die Verbreitung von KI darstellen, könnte die Freigabe des Effizienzkerns das Ökosystem stärker bewegen als das bloße Veröffentlichen einiger Gewichte – denn wer der Branche hilft, aus jedem Kilowattstunde Strom und jeder Karte mehr Leistung herauszuholen, der hält die eigentlichen Trümpfe in der Erzählung der Demokratisierung in der Hand.