IT之家 Mensaje del 15 de octubre: hoy Jieyue ha liberado oficialmente los pesos de Step5Preview. Esta apertura incluye: pesos del modelo en BF16 y FP8, un blog técnico y las herramientas de desarrollo de código abierto asociadas.
Según la descripción oficial, Step 5 Preview está diseñado para tareas de Agent de largo alcance, adopta una arquitectura MoE dispersa, con un total de 600B de parámetros y solo 27B de parámetros activados por token, soporta una ventana de contexto de 100 万 token y soporta de forma nativa entradas de texto y visuales, destacando en escenarios como la programación con IA, la ingeniería de software, el trabajo profesional especializado y las finanzas. Recientemente, Step 5 Preview ocupó el segundo lugar mundial tanto en las listas de llamadas semanales como diarias de OpenRouter.
Actualmente, los pesos del modelo ya están disponibles en Hugging Face y ModelScope, con soporte de adaptación para múltiples plataformas de chips y marcos de inferencia. Los desarrolladores pueden desplegar servicios de API compatibles con la interfaz de OpenAI mediante vLLM o SGLang, o usar Transformers para la inferencia sin conexión, incorporando el modelo a sus propios datos, herramientas y sistemas para construir agentes, aplicaciones, flujos de trabajo y servicios.
IT之家 ha notado que el blog técnico publicado simultáneamente por la empresa explica cómo Step 5 Preview soporta tareas de Agent más largas y complejas mediante la optimización conjunta de la arquitectura y el entrenamiento. Los diseños clave incluyen:
Arquitectura estrecha y profunda de 92 capas: proporciona rutas de cálculo más profundas para el razonamiento implícito de múltiples saltos, controlando al mismo tiempo la escala de parámetros y el costo computacional.
Sparse GQA: reduce el costo computacional del contexto de un millón de tokens mediante índices a nivel de bloques y la fusión del cálculo disperso. En particular, los índices de bloques de 8 token pueden reducir el costo de indexación y la selección de top-k a 1/8 del original.
Entrenamiento más estable: se conserva la precisión FP32 en estados y parámetros críticos, combinada con un recorte de gradiente de grano fino, para mitigar el crecimiento anómalo de las activaciones y los picos de gradiente en redes profundas.
Entornos verificables a escala de millones: cubren la ingeniería de software, el razonamiento científico, la investigación y desarrollo en aprendizaje automático y el trabajo profesional especializado, con calibración continua de la dificultad de las tareas, su diversidad y la fiabilidad de la evaluación.
Aprendizaje por refuerzo orientado a tareas de largo alcance: incorpora la compresión del contexto en el entrenamiento de la política de extremo a extremo, permitiendo que el Agent aprenda a organizar el estado de la tarea y a continuar la ejecución; combinado con una atribución de recompensa más fina, mejora el aprendizaje en trayectorias largas.