StepFun이 공개했습니다 5단계 미리 보기 오픈 웨이트로 공개되었습니다. FP8 및 BF16 체크포인트가 다음에서 제공됩니다. Hugging Face 그리고 ModelScope. Step 5 Preview는 StepFun이 긴 시간 범위의 에이전트 작업을 위해 구축한 희소 Mixture-of-Experts 모델입니다. 총 600B 매개변수를 보유하고 토큰당 27B가 활성화되며 최대 1M 토큰의 컨텍스트를 지원합니다. 개발자에게 이는 코딩 에이전트, 문서 분석 및 금융 워크플로우를 위한 새로운 셀프 호스팅 가능 옵션입니다.
요약
- 크기: 총 600B 파라미터, 토큰당 27B 활성화, 최대 1M 토큰 컨텍스트.
- 실행 환경: 데이터센터 GPU 전용입니다. FP8은 B300 4개 또는 H200 8개가 필요합니다. BF16은 B300 8개 또는 H200 16개가 필요합니다.
- 성능: 코딩 분야에서 오픈 웨이트 경쟁 모델인 GLM-5.3 및 Kimi K3에 근접합니다. GPT-6 Astra와 Claude Opus 5보다는 뒤처져 있습니다.
- 최고: AA-LCR 롱컨텍스트 추론에서 88.3% (Artificial Analysis 기준).
- 최악: Terminal-Bench 4.0에서 33.3%로, GLM-5.3의 41.9%와 비교된다.
5단계 미리보기(Step 5 Preview)란 무엇인가요?
5단계 미리 보기는 StepFun의 에이전틱 작업용 플래그십 모델. StepFun은 이 모델을 소프트웨어 엔지니어링, 전문 지식 노동 및 금융 분야에 활용하도록 포지셔닝하고 있습니다. 이 모델은 대규모 코드베이스를 탐색하고, 여러 파일에 걸친 변경을 조율하며, 코드를 실행하고 결과를 반복 개선합니다. 또한 긴 문서, 차트, 스크린샷 및 영상을 분석하여 구조화된 보고서를 생성합니다.
이 9월 20일 API 출시. 이어서 가중치가 10월 14일.
이 아키텍처는 어떻게 작동하나요?
토큰당 600B 파라미터 중 27B만 활성화됩니다. StepFun의 기술팀 내부 사정을 덧붙입니다:
- 깊이: 좁고 깊은 설계의 92개 트랜스포머 블록.
- 주의 혼합: 게이티드 슬라이딩 윈도우 어텐션과 풀 어텐션 레이어가 3:1로 교차 배치됩니다.
- Sparse GQA: full-attention 레이어는 쿼리당 4,096개의 히스토리 토큰을 선택하며, 8개 단위 블록으로 점수를 매깁니다.
- 추측 디코딩(Speculative decoding): MTP-3 헤드는 대략 30%의 엔드투엔드 속도 향상을 제공합니다.
- 훈련: FP8 혼합 정밀도, 백만(million) 규모의 검증 가능한 에이전틱 환경에서의 RL.
Step 5 Preview는 벤치마크에서 어떤 성능을 보이나요?
StepFun은 자체 평가를 다음 위치에서 수행했습니다. 높음 reasoning 설정. 차트의 경쟁사들 최대 강도로 달렸다따라서 이 비교는 동일한 조건에서 이루어진 것이 아닙니다.
- DeepSWE v1.1: 67.7 (SWE-agent 하네스, temperature 1.0, top_p 0.95)
- Terminal-Bench 4.0: 33.3
- Agents’ Last Exam (ALE-CLI): 29.5
독립적인 수치는 다음에서 나왵니다 Artificial Analysis via OpenRouter해당 모델은 Intelligence Index에서 43.7점을 기록했습니다. AA-LCR에서는 88.3%, Humanity’s Last Exam에서는 46.5%를 기록했습니다. GDPval-AA는 54.3%입니다.
Vals AI 결과는 뚜렷한 약점을 보여줍니다. SRE Bench는 0.4%입니다. Harvey의 Legal Agent Benchmark는 9.2%입니다.
금융 분야에서 StepFun의 차트에 따르면 FrontierFinance에서 66.4%를 기록했습니다. 이는 GLM-5.3과 Kimi K3를 앞서지만, 69.7%를 기록한 Claude Opus 5에는 뒤집니다.
다른 오픈 웨이트 모델들과 비교하면 어떨까요?
| 기능 | Step 5 미리보기 | GLM-5.3 | Kimi K3 |
|---|---|---|---|
| 총 파라미터 | 600B | 753B (HF 파일 크기) | 2.8T |
| 활성 파라미터 | 27B | 미공개 | 104B |
| 컨텍스트 윈도우 | 1M | 1M | 1M |
| 입력 모달리티 | 텍스트, 이미지 (API는 비디오 추가) | 텍스트만 | 텍스트, 이미지 |
| 가중치 형식 | FP8, BF16 | BF16, FP8 | MXFP4 가중치 |
| 라이선스 | StepFun Model License 1.0 | GLM-5.3 라이선스 | Kimi K3 License |
| 최소 공개 자체 호스팅 구성 | 4x B300 (FP8) | 미공개 | 미공개 |
| DeepSWE v1.1 (StepFun 보고) | 67.7 | 66.9 | 67.5 |
| Terminal-Bench 4.0 (StepFun 보고 기준) | 33.3 | 41.9 | 12.6 |
| FrontierFinance (StepFun 보도) | 66.4 | 64.1 | 62.6 |
| 1M 토큰당 API 가격 (입력 / 출력) | $1.00 / $2.70 | 공개되지 않음 | $3.00 / $15.00 |
벤치마크 수치는 StepFun의 비교 차트에서 가져온 것입니다. CellCog가 받아적은 대로 및 eesel.
Step 5 Preview를 실행하려면 어떤 하드웨어가 필요한가요?
이것은 데이터센터 모델입니다. FP8 체크포인트만 해도 650.32 GB. 등록된 구성:
- vLLM 또는 SGLang에서 FP8: B300 GPU 4개 또는 H200 GPU 8개, 각각 1개 노드에서.
- vLLM에서의 BF16: 8개의 B300 GPU를 갖춘 1개 노드, 또는 16개의 H200 GPU를 갖춘 2개 노드.
- 트랜스포머(Transformers): 오프라인 생성 전용입니다. 전체 BF16 샤드 워크플로는 아직 엔드 투 엔드로 검증되지 않았습니다.
vLLM과 SGLang이 출시됩니다 전용 Docker 이미지 OpenAI 호환 API를 지원합니다. Blackwell에서는 expert-parallel 모드가 MegaMoE 백엔드를 사용합니다. StepFun은 temperature 1.0, top_p 0.95, top_k 0을 권장합니다.
API 비용은 얼마인가요?
그 StepFun API 입력 토큰 1M당 $1.00, 출력 토큰 1M당 $2.70을 청구합니다. 캐시 히트는 1M당 $0.10입니다. 출력 가격에는 추론 토큰이 포함됩니다. 이 API는 low, medium, high 추론 강도, 도구 호출 및 JSON Schema 출력을 지원합니다.
핵심 요약
- 600B MoE, 활성 파라미터 27B, 컨텍스트 1M, 이제 FP8 및 BF16 오픈 웨이트로 공개.
- 가장 작은 규모로 표기된 셀프호스트 구성: FP8을 지원하는 B300 GPU 4개.
- 최고 독립 평가 점수: AA-LCR 장문 맥락 추론에서 88.3%.
- 가장 약한 부분: Terminal-Bench 4.0에서 33.3%.
- API 비용은 1M 토큰당 입력 $1.00, 출력 $2.70입니다.
확인해 보세요: Hugging Face의 모델 가중치, GitHub 저장소, 기술 블로그, BF16 가중치, ModelScope 그리고 API 문서. 이 프로젝트의 연구자에게 모든 공은 돌아갑니다. 또한, 언제든지 저희를 팔로우해 주세요. Twitter 그리고 저희의 다음 항목에 참여하는 것도 잊지 마세요. 150k+ ML 서브레딧 그리고 다음을 구독하세요: 저희 뉴스레터. 잠깐! 텔레그램을 사용하고 계신가요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
다음 포스트 StepFun, Step 5 Preview 오픈 웨이트 공개: 600B MoE, 27B 활성, 1M 컨텍스트 는 최초로 다음 사이트에 게시되었습니다. MarkTechPost.