StepFun a publié Step 5 Preview en poids ouverts. Les checkpoints FP8 et BF16 sont disponibles sur Hugging Face et ModelScope. Step 5 Preview est un modèle sparse Mixture-of-Experts de StepFun conçu pour les travaux agentiques de longue haleine. Il compte 600B de paramètres au total, 27B actifs par token et jusqu'à 1M de tokens de contexte. Pour les développeurs, c'est une nouvelle option auto-hébergeable pour les agents de codage, l'analyse de documents et les flux de travail en finance.
TL;DR
- Taille : 600B au total, 27B actifs par token, contexte allant jusqu'à 1M de tokens.
- Fonctionne sur : uniquement des GPU de data-center. FP8 nécessite 4x B300 ou 8x H200. BF16 nécessite 8x B300 ou 16x H200.
- Performances : proche des pairs open-weight GLM-5.3 et Kimi K3 en codage. Derrière GPT-6 Astra et Claude Opus 5.
- Meilleur : 88,3 % sur AA-LCR de raisonnement long-contexte (Artificial Analysis).
- Pire : 33,3 % sur Terminal-Bench 4.0, contre 41,9 % pour GLM-5.3.
Qu'est-ce que Step 5 Preview ?
Step 5 Preview est le modèle phare de StepFun pour les travaux agentiques. StepFun le positionne pour l'ingénierie logicielle, le travail professionnel basé sur les connaissances et la finance. Le modèle navigue dans de grandes bases de code, coordonne des modifications multi-fichiers, exécute du code et itère sur les résultats. Il analyse également de longs documents, graphiques, captures d'écran et vidéos pour produire des rapports structurés.
L' API a été lancée le 20 septembre. Les poids ont suivi le 14 octobre.
Comment fonctionne l'architecture ?
Seuls 27B des 600B paramètres s'activent par token. L' équipe technique ajoute les détails internes :
- Profondeur : 92 blocs de transformateur dans une conception étroite et profonde.
- Avertissement de mixage : attention par fenêtre glissante avec barrière (gated sliding-window attention) et couches d'attention complète, entrelacées selon un rapport de 3:1.
- GQA creuse : Les couches à attention complète sélectionnent 4,096 jetons d'historique par requête, évalués par blocs de 8.
- Décodage spéculatif : un culot MTP-3 offre environ 30 % d'accélération de bout en bout.
- Formation : La précision mixte FP8, avec RL sur des environnements agentiques vérifiables à l'échelle du million.
Quels sont les résultats de Step 5 Preview sur les benchmarks ?
StepFun a mené ses propres évaluations à la Élevé paramètre de raisonnement. Ses concurrents dans le graphique a fonctionné à l'effort maximal, la comparaison n'est donc pas équivalente.
Résultats signale sur la fiche Hugging Face:
- DeepSWE v1.1 : 67.7 (harnais SWE-agent, température 1.0, top_p 0.95)
- Terminal-Bench 4.0 : 33.3
- Agents’ Last Exam (ALE-CLI) : 29.5
Les chiffres indépendants proviennent de Artificial Analysis via OpenRouter. Le modèle obtient un score de 43.7 sur l'Indice d'Intelligence. Il atteint 88.3 % sur AA-LCR et 46.5 % sur Humanity's Last Exam. GDPval-AA s'établit à 54.3 %.
Vals AI Les résultats de montrent des points faibles évidents. SRE Bench est à 0.4 %. Le Harvey's Legal Agent Benchmark est à 9.2 %.
En finance, le graphique de StepFun montre 66.4 % sur FrontierFinance. Cela surpasse GLM-5.3 et Kimi K3, mais reste derrière Claude Opus 5 à 69.7 %.
Comment se compare-t-il aux autres modèles à poids ouverts ?
| Fonctionnalité | Aperçu de l'étape 5 | GLM-5.3 | Kimi K3 |
|---|---|---|---|
| Paramètres totaux | 600B | 753B (Taille du fichier HF) | 2.8T |
| Paramètres actifs | 27B | Non divulgué | 104B |
| Fenêtre de contexte | 1M | 1M | 1M |
| Modalités d'entrée | Texte, image (l'API ajoute la vidéo) | Texte uniquement | Texte, image |
| Formats de poids | FP8, BF16 | BF16, FP8 | Poids MXFP4 |
| Licence | StepFun Model License 1.0 | Licence GLM-5.3 | Licence Kimi K3 |
| Configuration minimale d'auto-hébergement listée | 4x B300 (FP8) | Non divulgué | Non divulgué |
| DeepSWE v1.1 (rapporté par StepFun) | 67.7 | 66.9 | 67.5 |
| Terminal-Bench 4.0 (rapporté par StepFun) | 33.3 | 41.9 | 12.6 |
| FrontierFinance (rapporté par StepFun) | 66.4 | 64.1 | 62.6 |
| Prix API par 1M de tokens (entrée / sortie) | $1.00 / $2.70 | Non communiqué | $3.00 / $15.00 |
Les lignes de benchmark proviennent du tableau comparatif de StepFun, tel que transcrit par CellCog et eesel.
Quel matériel est nécessaire pour exécuter Step 5 Preview ?
Il s'agit d'un modèle pour centre de données. Le checkpoint FP8 pèse à lui seul 650.32 Go. Configurations listées:
- FP8 sur vLLM ou SGLang : 4 GPU B300 ou 8 GPU H200, chacun sur 1 nœud.
- BF16 sur vLLM : 1 nœud avec 8 GPU B300, ou 2 nœuds avec 16 GPU H200.
- Transformers : génération hors ligne uniquement. Le flux de travail complet des shards BF16 n'est pas encore validé de bout en bout.
vLLM et SGLang fournissent des images Docker dédiées avec des API compatibles OpenAI. Sur Blackwell, les modes expert-parallèle utilisent le backend MegaMoE. StepFun recommande temperature 1.0, top_p 0.95 et top_k 0.
Combien coûte l'API ?
L' API StepFun facture 1,00 $ par 1M de tokens d'entrée et 2,70 $ par 1M de tokens de sortie. Les succès de cache coûtent 0,10 $ par 1M. La tarification de sortie inclut les tokens de raisonnement. L'API prend en charge les niveaux d'effort de raisonnement low, medium et high, l'appel d'outils et la sortie JSON Schema.
Points clés à retenir
- 600B MoE, 27B actifs, contexte de 1M, désormais en poids ouverts en FP8 et BF16.
- Plus petite configuration auto-hébergée listée : 4 GPU B300 avec FP8.
- Meilleur score indépendant : 88.3 % sur AA-LCR, raisonnement en contexte long.
- Point le plus faible : 33.3 % sur Terminal-Bench 4.0.
- L'API coûte 1,00 $ en entrée et 2,70 $ en sortie par 1M de tokens.
Découvrez les poids du modèle sur Hugging Face, Dépôt GitHub, blog tech, poids BF16, ModelScope et documentation de l'API. Tout le mérite revient aux chercheurs de ce projet. N'hésitez également pas à nous suivre sur Twitter et n'oubliez pas de rejoindre notre SubReddit ML de plus de 150k et de vous abonner à notre Newsletter. Attendez ! êtes-vous sur telegram ? vous pouvez désormais nous rejoindre sur telegram également.
L'article StepFun publie Step 5 Preview en poids ouverts : MoE de 600B, 27B actifs, contexte de 1M est applu pour la première fois sur MarkTechPost.