IT之家 Bericht vom 5. November: Baidu hat heute das ERNIE-5.5-Flash-Base veröffentlicht, das die Gewichte des Endpunkts der vortrainierten ERNIE 5.5 Flash bereitstellt.
Es handelt sich um ein dünnes MoE-Languagemodell mit einer Gesamtkonfiguration von 280B und 14B Aktivierungen pro Token. Es wurde von Grund auf auf 33,5T Tokens trainiert; der längste Trainingskontext beträgt 128K, und es wird ein Kontext von 1M Tokens für Feinjustierung und Inferenz unterstützt.
Der veröffentlichte Gewichtwert wurde weder während des Trainings noch nach dem Trainings erstellt und kann als gemeinsamer Ausgangspunkt für die Forschung zu Bereichanpassung, Anpassung von Anweisungen und Verstärkungslernen dienen.
Laut offiziellen Angaben ist das Base-Modell nur ein Ausgangspunkt. Das nachfolgend trainierte ERNIE 5.5 Flash wird anschließend veröffentlicht werden.
ERNIE-5.5-Flash-Base wurde auf 33,5 T tokens von Grund auf vorgetrainiert, mit einem Muon-Optimierer und einer Mischgenauigkeit von FP8. Das vorgetrainierte Material umfasst eine breite Palette von Bereichen und Sprachen, und besonders wurden drei Bereiche ausgebaut:
Webdaten: Mehrsprachige Webseiten-Scraping, hochpräzise Textextraktion und modellgesteuerte multi-dimensionale Qualitätsfilterung.
Code-Daten: Der Code für den Server und die Webseite wurde nach nicht-code-filtriertem, duplikatsfreiem und Qualitätsklassifizierungsverfahren bearbeitet. Zudem wurden Daten zu Software-Entwicklung und -Ausführung hinzugefügt, darunter Commit-, Issue-, Pull-Request-, Code-Review-, automatisch generierte Tests und von der CI geprüfte Fehlerbehebungen.
Lange Textdaten: Ausgewählte natürliche lange Dokumente, lange Sequenzen mit semantisch verwandten Suchstörgerichten, sowie synthetische Such-, Quellbasierte Q&A- und Mehrfach-Schleife-QA-Daten.
Laut der Präsentation wurde das Trainingssystem und die Modellstruktur gemeinsam entwickelt. Der Optimierer verwendet einen verteilten Muon: Bei einer Größe von Tausenden von Karten wird die Kommunikation zwischen Dense-Parameter und MoE-Parameter über eine einzige Gesamtkommunikation kombiniert, was die Zeitverzögerungen und Vibrationen zwischen den Rechnern verringert. Der Aufmerksamkeitsoperator verwendet FlashMask-4 auf Basis von CuTe-DSL und unterstützt die SM90- sowie SM100-Architekturen; der maximale head dim beträgt 576 (qk)/512 (v), was direkt für die Berechnung einer 512-Dimensionalen breiten Kopfgröße im HCA-Schicht verwendet werden kann.
IT Home mit Bewertungsdaten und Open-Source-Links:
Das Wenxin-Großmodell hat ERNIE-5.5-Flash-Base in 30 Benchmark-Tests bewertet, die sieben Bereiche umfassen: allgemeine Fähigkeiten, Wissen, Naturwissenschaften, Reasoning, Mehrsprachigkeit, Code und lange Kontexte. Zudem wurden die Ergebnisse des gleichgroßen Base-Modells DeepSeek-V4-Flash-Base, Hy3-preview-Base und MiMo-V2.5-Base aufgeführt. Alle vier Modelle basieren auf ihren jeweils öffentlich veröffentlichten Checkpoints und verwenden denselben Testrahmen.
ERNIE-5.5-Flash-Base zeigt in allen Fähigkeitsaspekten gute Leistung; im Bereich des langen Kontexts sind 37 der 43 Schichten auf der komprimierten Sequenz von 128-fach reduziert, und 6 Schichten für MLA-DSA reichen aus, um feine Suchfunktionen zu ermöglichen. Die vollständige Tabelle findet sich in der Modelleinführungsseite von Hugging Face.
Technik-Blog: https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/
Hugging Face（FP8）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
Hugging Face（BF16）：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
Feinabstimmungsbeispiel (Megatron-Bridge): https://github.com/NVIDIA-NeMo/Megatron-Bridge/tree/main/examples/models/ernie55