IT之家 Meldung vom 15. Oktober: StepFun hat heute offiziell die Gewichte von Step5Preview freigegeben. Diese Veröffentlichung umfasst: BF16- und FP8-Modellgewichte, einen technischen Blog sowie begleitende Open-Source-Entwicklungswerkzeuge.
Laut offiziellen Angaben wurde Step 5 Preview für langfristige Agent-Aufgaben entworfen und verwendet eine sparsame MoE-Architektur mit insgesamt 600B Parametern, von denen pro Token nur 27B aktiviert werden. Es unterstützt ein Kontextfenster von 1 Million Token, unterstützt nativ Text- und Visuelleingaben und zeigt herausragende Leistungen in Bereichen wie KI-Programmierung, Softwaretechnik, fachspezifischer Wissensarbeit und Finanzen. Kürzlich belegte Step 5 Preview sowohl in den wöchentlichen als auch in den täglichen Aufruf-Hitlisten von OpenRouter weltweit den zweiten Platz.
Die Modellgewichte sind derzeit auf Hugging Face und ModelScope verfügbar, mit Anpassungsunterstützung für verschiedene Chip-Plattformen und Inferenz-Frameworks. Entwickler können über vLLM oder SGLang API-Dienste bereitstellen, die mit der OpenAI-Schnittstelle kompatibel sind, oder mit Transformers eine Offline-Inferenz durchführen und das Modell in ihre eigenen Daten, Werkzeuge und Systeme einbinden, um Agenten, Anwendungen, Workflows und Dienste zu erstellen.
IT之家 hat bemerkt, dass der offiziell zeitgleich veröffentlichte technische Blog erläutert, wie Step 5 Preview durch gemeinsame Optimierung von Architektur und Training längere und komplexere Agent-Aufgaben unterstützt. Zu den wichtigsten Designentscheidungen gehören:
Schmale, tiefe Architektur mit 92 Schichten: bietet tiefere Berechnungspfade für implizites Multi-Hop-Reasoning und kontrolliert gleichzeitig Parameterumfang und Rechenkosten.
Sparse GQA: senkt die Rechenkosten für Million-Token-Kontexte durch blockweise Indizierung und Kombination sparsamer Berechnungen. Dabei kann die 8-Token-Blockindizierung den Aufwand für Indizierung und top-k-Auswahl auf 1/8 des ursprünglichen Werts reduzieren.
Stabileres Training: FP32-Präzision wird für kritische Zustände und Parameter beibehalten, kombiniert mit feinkörnigem Gradient Clipping, um abnormales Aktivierungswachstum und Gradientenspitzen in tiefen Netzwerken abzumildern.
Millionenfach verifizierbare Umgebungen: decken Softwaretechnik, wissenschaftliches Reasoning, Machine-Learning-Forschung und fachspezifische Wissensarbeit ab, mit kontinuierlicher Kalibrierung von Aufgabenschwierigkeit, Vielfalt und Bewertungszuverlässigkeit.
Reinforcement Learning für langfristige Aufgaben: Kontextkomprimierung wird in das end-to-ende Politiktraining integriert, sodass Agenten lernen, Aufgabenzustände zu ordnen und die Ausführung fortzusetzen; in Kombination mit feinerer Belohnungszuschreibung wird die Lernwirksamkeit langer Trajektorien verbessert.