DeepSeek gab am 20. Oktober offiziell bekannt, dass sie nach der Freigabe einer Reihe großer Modelle, des TileLang-Compilierungswerkzeugs und der Inferenzoperatorbibliothek einen weiteren Schritt vorantreten will – indem sie ihr interner Inferenzrahmenwerk DeepInfer vollständig öffentlich macht.
Die Firma hat eine langjährig ignorierten Zwischenstufe aufgedeckt: Die Grenzen der Fähigkeiten von großen Modellen werden vom Modell selbst festgelegt, aber wie man mit angemessenen Kosten Serviceleistungen für überaus große Modelle ermöglicht, hängt wirklich von dem Inferenzrahmen ab. Training führt dazu, dass das Modell „Lernt“, und Inferenz ermöglicht es, dass das Modell „genutzt wird“. Angesichts der heutigen großen Anzahl von Benutzern ist der Inferenzrahmen verantwortlich für die Koordination einer riesigen Rechenkapazität; seine Effizienz bestimmt direkt den Rechenkosten und den Stromverbrauch der AI-Dienstleistungen.
DeepSeek möchte durch die Offenlegung seiner internen Deployment-Erfahrungen Entwickler und Unternehmen dabei unterstützen, die Leistung und die Latenzzeiten bei großflächigen Inferenzen zu optimieren. Dadurch kann es eine effizientere Einrichtung von Private- oder Public-Cloud-Deployments ermöglichen, die Kosten für Rechenleistung senken und den Energieverbrauch reduzieren. So kann das intelligente System zu einem niedrigeren Preis für ein breitere Bevölkerung erreichen – was es als „umfassende Verbreitung großer Modelle“ bezeichnet.
Basierend auf DeepInfer hat das Offizielle Team von DeepSeek bereits den hochverfügbaren und langsamsten großskaligen Inferenzdienst von DeepSeek V4.1Flash erfolgreich implementiert; in Zukunft werden die Inferenzcode für neue Modelle sowie weitere Optimierungen auch in diesem Framework kontinuierlich aktualisiert werden.
Im Detail kombiniert das DeepInfer-Räumungsmodell ein Hochleistungsoperator und einen tiefen Optimierten Räumungsmotor, der Funktionen wie verteiltes Räumen, Hypothese-Dekodierung, SWA Bounded Replay und strukturierte Ausgabe unterstützt, und ist gleichzeitig kompatibel mit den beiden Plattformen NVIDIA und Huawei Ascend. Parallel dazu steht das open-source-gestützte deepseek-recipe-Kodierungs- und Decodierungskomponenten – ein produktives Token-Kodierungs- und Decodierungsmodul, das vollständig mit der Verarbeitungslogik der offiziellen DeepSeek-API übereinstimmt, um sicherzustellen, dass die Community eine ähnliche API-Erfahrung wie bei der offiziellen Bereitstellung erhält. Für diejenigen, die selbst einen Reasoning-Dienst aufbauen möchten, bedeutet das, dass sie nicht von vorne anfangen müssen, sondern direkt auf der Erfahrung mit der Installation von DeepSeek basieren können.