IT之家 AI更新日

阶跃 Step 5 Preview 大規模モデルの重みを公開、100 万トークンのコンテキストウィンドウに対応

IT之家 10 月 15 日付の報道によると、StepFun(阶跃)は本日、Step5Preview の重みを正式に公開した。今回開放されたのは:BF16 と FP8 のモデル重み、技術ブログ、付属のオープンソース開発ツール。公式の説明によると、Step 5 Preview は長時間の Agent タスク向けに設計されており、スパース MoE アーキテクチャを採用し、総パラメータ数は 600B、トークンあたりの活性化パラメータはわずか…

画像の出典 · IT之家 AI
IT之家の読者 不一样的体验、补药吖 から情報提供がありました!

IT之家 10 月 15 日付の報道によると、阶跃(StepFun)は本日、Step5Preview の重みを正式に公開した。今回の公開内容:BF16 と FP8 のモデル重み、技術ブログ、付属のオープンソース開発ツール。

公式の説明によると、Step 5 Preview は長時間の Agent タスク向けに設計されており、スパース MoE アーキテクチャを採用し、総パラメータ数は 600B、トークンあたりのアクティブパラメータはわずか 27B、100 万トークンのコンテキストウィンドウに対応し、テキストと視覚入力をネイティブにサポートし、AI プログラミング、ソフトウェアエンジニアリング、専門知識業務、金融などの分野で際立ったパフォーマンスを発揮する。近年、Step 5 Preview は OpenRouter の週間呼び出し量、日次呼び出し量ランキングでいずれも世界第 2 位に位置している。

現在、モデル重みは Hugging Face と ModelScope に公開されており、多様なチッププラットフォームと推論フレームワーク向けの適応サポートも提供されている。開発者は vLLM または SGLang を使って OpenAI インターフェース互換の API サービスをデプロイできるほか、Transformers を使ってオフライン推論を行い、モデルを自身のデータ、ツール、システムに接続し、エージェント、アプリケーション、ワークフロー、サービスを構築できる。

IT之家が注目したところ、公式が同時に公開した技術ブログでは、Step 5 Preview がどのようにアーキテクチャとトレーニングの協調最適化によって、より長く複雑な Agent タスクを支援するかが紹介されている。主要な設計は以下を含む:

  • 92 層のナロー・ディープアーキテクチャ:暗黙的なマルチホップ推論により深い計算経路を提供しつつ、パラメータ規模と計算コストを制御する。

  • Sparse GQA:ブロックレベルのインデックスとスパース計算のマージにより、百万トークンコンテキストの計算オーバーヘッドを削減する。このうち、8 token ブロックレベルのインデックスにより、インデックスと top-k 選択のオーバーヘッドを元の 1/8 にまで低減できる。

  • より安定したトレーニング:重要な状態とパラメータに FP32 精度を保持し、細粒度の勾配クリッピングと組み合わせることで、深層ネットワークにおける活性化値の異常な増大と勾配スパイクを緩和する。

  • 百万レベルの検証可能環境:ソフトウェアエンジニアリング、科学推論、機械学習の研究開発、専門知識業務をカバーし、タスクの難易度、多様性、評価の信頼性を継続的に校正する。

  • 長時間タスク向けの強化学習:コンテキスト圧縮をエンドツーエンドのポリシートレーニングに組み込み、Agent がタスク状態を整理して実行を継続することを学習できるようにする。より精密な報酬アトリビューションと組み合わせ、長い軌跡の学習効果を向上させる。

原文の出典

IT之家 AI

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください