IT之家 10월 15일 소식, 阶跃(StepFun)가 오늘 Step5Preview 가중치를 정식 공개했습니다. 이번에 공개된 것: BF16 및 FP8 모델 가중치, 기술 블로그, 관련 오픈소스 개발 도구.
공식 소개에 따르면, Step 5 Preview는 장기 Agent 작업을 위해 설계되었으며, 희소 MoE 아키텍처를 채택해 총 파라미터 수는 600B, token당 활성화 파라미터는 27B에 불과하고, 100만 token 컨텍스트 윈도우를 지원하며, 텍스트 및 비전 입력을 네이티브로 지원하고, AI 프로그래밍, 소프트웨어 엔지니어링, 전문 지식 작업, 금융 등 시나리오에서 뛰어난 성능을 보입니다. 최근 Step 5 Preview는 OpenRouter 주간 호출량 및 일간 호출량 순위에서 모두 세계 2위를 기록했습니다.
현재 모델 가중치는 Hugging Face와 ModelScope에 공개되었으며, 다양한 칩 플랫폼과 추론 프레임워크를 위한 호환 지원도 제공됩니다. 개발자는 vLLM 또는 SGLang을 통해 OpenAI 인터페이스와 호환되는 API 서비스를 배포하거나, Transformers를 사용해 오프라인 추론을 수행하여 모델을 자신의 데이터, 도구 및 시스템에 연결해 에이전트, 애플리케이션, 워크플로와 서비스를 구축할 수 있습니다.
IT之家가 주목한 바, 공식이 동시에 공개한 기술 블로그는 Step 5 Preview가 아키텍처와 학습의 협력 최적화를 통해 더 길고 복잡한 Agent 작업을 지원하는 방법을 소개합니다. 핵심 설계는 다음을 포함합니다:
92층 협심(窄深) 아키텍처: 암묵적 멀티홉 추론을 위한 더 깊은 계산 경로를 제공하면서 파라미터 규모와 계산 비용을 제어합니다.
Sparse GQA: 블록 단위 인덱싱과 희소 계산 병합을 통해 백만 token 컨텍스트의 계산 오버헤드를 낮춥니다. 그중 8 token 블록 단위 인덱싱은 인덱싱 및 top-k 선택 오버헤드를 기존의 1/8로 낮출 수 있습니다.
더 안정적인 학습: 핵심 상태와 파라미터에 FP32 정밀도를 유지하고, 세분화된 그래디언트 클리핑을 결합해 심층 네트워크에서의 활성화 이상 증가와 그래디언트 스파이크를 완화합니다.
백만 규모의 검증 가능 환경: 소프트웨어 엔지니어링, 과학 추론, 머신러닝 연구개발 및 전문 지식 작업을 커버하며, 작업 난이도, 다양성, 평가 신뢰성을 지속적으로 보정합니다.
장기 작업을 위한 강화학습: 컨텍스트 압축을 엔드투엔드 정책 학습에 포함시켜 Agent가 작업 상태를 정리하고 실행을 이어가도록 학습시키며, 더 정교한 보상 귀인을 결합해 긴 궤적의 학습 효과를 향상시킵니다.