MarkTechPost

StepFun、Step 5 Previewのオープンウェイトを公開:600B MoE、27Bアクティブ、1Mコンテキスト

StepFunがStep 5 Previewをオープンウェイトとしてリリースしました。FP8およびBF16のチェックポイントがHugging FaceとModelScopeで公開されています。Step 5…

StepFunはリリースしました ステップ5 プレビュー オープンウェイトとして公開されました。FP8およびBF16のチェックポイントは以下で公開中です Hugging Face および ModelScopeStep 5 Previewは、長時間にわたるエージェント作業のためにStepFunが構築したスパースなMixture-of-Expertsモデルです。総パラメータ数は600B、トークンあたりのアクティブパラメータは27Bで、最大1Mトークンのコンテキストを扱えます。開発者にとって、これはコーディングエージェント、ドキュメント分析、金融ワークフロー向けの新しいセルフホスト可能な選択肢です。

要点

  • サイズ: 合計600B、トークンあたりアクティブ27B、最大1Mトークンのコンテキスト。
  • 動作環境: データセンターGPUのみ対象。FP8にはB300 4基またはH200 8基が必要。BF16にはB300 8基またはH200 16基が必要。
  • パフォーマンス: コーディングでは、オープンウェイトのライバルであるGLM-5.3やKimi K3に匹敵します。GPT-6 AstraとClaude Opus 5には及びません。
  • 最良の方法: AA-LCRの長文コンテキスト推論で88.3%(Artificial Analysis)。
  • 最悪: Terminal-Bench 4.0では33.3%となり、GLM-5.3の41.9%と比較した。

ステップ5のプレビューとは何ですか?

ステップ5のプレビューは StepFunのエージェント型ワーク向けフラッグシップモデル。StepFunは、ソフトウェアエンジニアリング、専門的な知識労働、金融向けにこのモデルを位置づけています。このモデルは大規模なコードベースを操作し、複数ファイルにわたる変更を調整し、コードを実行して結果を反復改善します。また、長文ドキュメント、チャート、スクリーンショット、動画を分析して、構造化されたレポートを作成します。

その APIは9月20日に開始されました。続いて重みは 10月14日.

このアーキテクチャはどのように機能するのですか?

トークンごとに600Bのパラメータのうち27Bのみが活性化します。StepFunの テックチーム 内部情報は以下を追加しています:

  • 深さ: 細くて深い設計の92個のトランスフォーマーブロック。
  • アテンションの構成: ゲート付きスライディングウィンドウアテンション層とフルアテンション層が3:1でインターリーブ配置。
  • スパースGQA: フルアテンション層はクエリごとに4,096個の履歴トークンを選択し、8個のブロック単位でスコアリング。
  • 推測デコーディング: MTP-3ヘッドにより、エンドツーエンドで約30%の高速化。
  • 学習: FP8混合精度、ならびにmillionレベルの検証可能なエージェント環境上での強化学習(RL)。

Step 5 Previewはベンチマークでどの程度の性能を発揮するのか?

StepFunは独自の評価を High 推論設定で実施しました。同社のチャート上の競合モデルは Max effortで実行されており、比較は同じ条件ではありません。

Hugging Faceカードで報告されている 結果は以下の通りです:

  • DeepSWE v1.1: 67.7(SWE-agentハーネス、temperature 1.0、top_p 0.95)
  • Terminal-Bench 4.0: 33.3
  • Agents’ Last Exam(ALE-CLI): 29.5

独立した数値は Artificial Analysis via OpenRouterによるものです。このモデルはIntelligence Indexで43.7を記録しています。AA-LCRでは88.3%、Humanity’s Last Examでは46.5%を達成しています。GDPval-AAは54.3%となっています。

Vals AI の結果には明白な弱点が示されています。SRE Benchは0.4%。Harvey’s Legal Agent Benchmarkは9.2%です。

ファイナンス分野では、StepFunのチャートで FrontierFinanceで66.4%を示しています。これはGLM-5.3とKimi K3を上回りますが、69.7%のClaude Opus 5には及びません。

他のオープンウェイトモデルとどう比較されるのか?

機能ステップ5 プレビューGLM-5.3Kimi K3
総パラメータ数600B753B (HFファイルサイズ)2.8T
アクティブパラメータ数27B非公開104B
コンテキストウィンドウ1M1M1M
入力モダリティテキスト、画像(APIでは動画も追加)テキストのみテキスト、画像
重みフォーマットFP8、BF16BF16、FP8MXFP4重み
ライセンスStepFun Model License 1.0GLM-5.3ライセンスKimi K3 License
記載されている最小セルフホスト構成4x B300 (FP8)非公開非公開
DeepSWE v1.1 (StepFun報告)67.766.967.5
Terminal-Bench 4.0(StepFun報告値)33.341.912.6
FrontierFinance(StepFunによる報道)66.464.162.6
API価格(1Mトークンあたり、入力/出力)$1.00 / $2.70非公開$3.00 / $15.00

ベンチマークの行はStepFunの比較チャートからのものです。 CellCogによる書き起こしのまま および eesel.

Step 5 Preview を実行するにはどのハードウェアが必要ですか?

これはデータセンターモデルです。FP8チェックポイントだけでも 650.32 GB. 掲載構成:

  • vLLMまたはSGLangでのFP8: 4基のB300 GPUまたは8基のH200 GPU、それぞれ1ノード上。
  • vLLM での BF16: 8基のB300 GPUを搭載した1ノード、または16基のH200 GPUを搭載した2ノード。
  • トランスフォーマー: オフライン生成のみ対応。完全な BF16 シャードのワークフローは、まだエンドツーエンドで検証されていません。

vLLM と SGLang は搭載しています 専用のDockerイメージ OpenAI互換APIで利用できます。Blackwellでは、エキスパート並列モードがMegaMoEバックエンドを使用します。StepFunは温度1.0、top_p 0.95、top_k 0を推奨しています。

APIの料金はいくらですか?

その StepFun API 1M入力トークンあたり$1.00、1M出力トークンあたり$2.70の料金を課します。キャッシュヒットは1Mあたり$0.10です。出力価格には推論トークンが含まれます。APIはlow、medium、highの推論努力、ツール呼び出しおよびJSON Schema出力に対応しています。

重要なポイント

  • 600B MoE、27Bアクティブ、1Mコンテキスト、FP8およびBF16のオープンウェイトとして公開。
  • 最小の公表済みセルフホスト構成:FP8対応のB300 GPU 4基。
  • 最高の独立スコア:AA-LCR の長文コンテキスト推論で 88.3%。
  • 最も弱い部分:Terminal-Bench 4.0での33.3%。
  • このAPIのコストは、1Mトークンあたり入力が$1.00、出力が$2.70です。


チェックしてみてください: Hugging Face上のモデルウェイト, GitHubリポジトリ, テックブログ, BF16の重み, ModelScope および APIドキュメント。このプロジェクトの研究者に全ての功績があります。また、ぜひ私たちをフォローしてください: Twitter そして、私たちのへの参加もお忘れなく 150k以上のML SubReddit およびチャンネル登録を 当社のニュースレター待ってください!telegramをお使いですか? Telegramでもご参加いただけるようになりました。

この投稿 StepFun、Step 5 Previewのオープンウェイトを公開:600B MoE、27Bアクティブ、1Mコンテキスト 最初に掲載されたのは MarkTechPost.

原文の出典

MarkTechPost

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください