IT之家 Bericht vom 20. Oktober: DeepSeek hat heute offiziell bekanntgegeben, dass sie auf der Grundlage der vorherigen Open-Source-Versionen von großen Modellen, dem Compilierungswerkzeug TileLang und der Bibliothek für Inferenzoperatoren entschieden hat, das interne Inferenzframework DeepInfer vollständig öffentlich zu machen.
DeepSeek erklärt offiziell, dass die Grenzen der Fähigkeiten des großen Modells von dem Modell selbst bestimmt werden, aber wie ein überaus großes Modellservice zu einem angemessenen Preis angeboten werden kann, hängt auch von einer langfristig nicht öffentlich bekannten Zwischenstufe ab: Der Rechenrahmen.
Training lässt das Modell etwas lernen, während die Schlussfolgerung das Modell für Menschen nutzbar macht. Angesichts der heutigen großen Anzahl von Benutzern ist das Schlussfolgerungsmodul verantwortlich für die Koordination und Steuerung einer riesigen Rechenleistungskaskade, deren Effizienz direkt den Rechenleistungskosten und der Stromverbrauch von AI-Diensten bestimmt.
DeepSeek hofft, durch den Austausch von internen Deployment-Erfahrungen, den Entwicklern und Unternehmen zu helfen, die Leistung und Verzögerung großskaliger Inferenzen zu optimieren, um effizient private und öffentliche Cloud-Deployment zu realisieren, die Kosten der Rechenleistung zu senken und den Energieverbrauch zu reduzieren, sodass Intelligenz zu einem niedrigeren Preis für eine breitere Zielgruppe verfügbar ist, um eine echte Allgemeinnutzung von großen Modellen zu ermöglichen.
Basierend auf DeepInfer hat das offizielle DeepSeek-Team den DeepSeek V4.1 Flash-Service für eine großflächige Reasoning-Leistung mit hohem Durchsatz und niedriger Verzögerung implementiert. In Zukunft werden die Reasoning-Code für neue Modelle von DeepSeek sowie weitere Optimierungen weiterhin hier aktualisiert werden.
DeepInfer Entscheidungsframework: Integriert leistungsstarke Operatoren und ein tief optimiertes Entscheidungsmotor, unterstützt verteilten Entscheidungsprozess, Vorhersage-Dekodierung, SWA Bounded Replay und strukturierte Ausgabe, kompatibel mit NVIDIA- und Huawei Ascend-Plattformen.
deepseek-recipe Encodierungs- und Decodierungskomponenten: Eine open-source Produktiv-Standard-Token-Encodierungs- und Decodierungskomponente, die vollständig mit den Verarbeitungsprozessen der offiziellen DeepSeek-API übereinstimmt, um der Community eine API-Erfahrung zu bieten, die mit der offiziellen Installation vergleichbar ist.
Die IT Home-Webseite enthält die folgenden Open-Source-Adressen:
DeepInfer: https://github.com/deepseek-ai/DeepInfer
deepseek-recipe: https://github.com/deepseek-ai/deepseek-recipe
Anzeigenaussage: Der Text enthält externe Verlinkungen (einschließlich aber nicht auf bestimmte Formen beschränkt, wie Hyperlinks, QR-Codes oder Passwörter), die dazu dienen, mehr Informationen bereitzustellen, die Auswahlzeit zu verkürzen und die Ergebnisse lediglich als Referenz dienen. Alle Artikel von IT Home, die externe Links enthalten, enthalten diese Anzeigenaussage.