IT之家 Le 15 octobre, StepFun a officiellement publié aujourd'hui les poids de Step5Preview. Cette ouverture comprend : les poids du modèle en BF16 et FP8, un blog technique et les outils de développement open source associés.
Selon la présentation officielle, Step 5 Preview est conçu pour les tâches d'Agent à long terme, avec une architecture MoE creuse, 600B de paramètres au total et seulement 27B de paramètres activés par token. Il prend en charge une fenêtre de contexte de 1 million de tokens et supporte nativement les entrées texte et visuel, avec des performances remarquables dans la programmation IA, l'ingénierie logicielle, le travail de connaissances spécialisées et la finance. Récemment, Step 5 Preview s'est classé deuxième mondial dans les classements hebdomadaires et quotidiens d'appels sur OpenRouter.
À l'heure actuelle, les poids du modèle sont disponibles sur Hugging Face et ModelScope, avec un support d'adaptation pour diverses plateformes de puces et frameworks d'inférence. Les développeurs peuvent déployer un service API compatible avec l'interface OpenAI via vLLM ou SGLang, ou utiliser Transformers pour une inférence hors ligne, afin de connecter le modèle à leurs données, outils et systèmes, et de construire des agents, applications, workflows et services.
IT之家 note que le blog technique publié en même temps explique comment Step 5 Preview prend en charge des tâches d'Agent plus longues et plus complexes grâce à une optimisation conjointe de l'architecture et de l'entraînement. Les conceptions clés incluent :
Une architecture étroite et profonde de 92 couches : elle offre des chemins de calcul plus profonds pour le raisonnement implicite multi-sauts, tout en contrôlant la taille des paramètres et le coût de calcul.
Sparse GQA : grâce à l'indexation par blocs et à la fusion des calculs creux, elle réduit le coût de calcul du contexte de 8 token. L'indexation par blocs de 8 tokens permet de réduire le coût d'indexation et de sélection top-k au 1/8 de l'original.
Un entraînement plus stable : la précision FP32 est conservée sur les états et paramètres critiques, combinée à un clipping de gradient à grain fin, afin d'atténuer la croissance anormale des activations et les pics de gradient dans les réseaux profonds.
Un million d'environnements vérifiables : couvrant l'ingénierie logicielle, le raisonnement scientifique, la R&D en apprentissage automatique et le travail de connaissances spécialisées, avec un calibrage continu de la difficulté, de la diversité et de la fiabilité d'évaluation des tâches.
L'apprentissage par renforcement pour les tâches à long terme : la compression de contexte est intégrée à l'entraînement de la stratégie de bout en bout, permettant à l'Agent d'apprendre à organiser l'état des tâches et à poursuivre leur exécution ; combinée à une attribution de récompense plus fine, elle améliore l'apprentissage sur les longues trajectoires.