Polymathic AIとプリンストン大学の研究者ら、LLMデコードを6.14倍高速化するフローマップ作成ツール「FlashMap」を公開

Polymathic AI、プリンストン大学、USC ISI、NYU、Flatiron Instituteの研究者たちが発表した FlashMapFlashMapのspeculative decodingは、離散拡散ドラフターを連続フローマップに置き換えます。1回のforward passで16トークンのブロック全体を下書きします。そのブロック内のトークンは互いに一貫性を保ちます。Qwen3-8Bにおいて、研究チームは最大でと報告しています。 6.14倍の高速化(ロスレス) on GSM8K。Qwen3-8BおよびQwen3-4Bのドラフト用重みは Hugging Face上、ともに vLLMおよびSGLangプラグイン.

要約

• サイズ: 0.5Bパラメータのドラフター(Qwen3-8Bでは500M、Qwen3-4Bでは475M)。K = 16トークンのブロックのドラフトを生成します。
• 動作環境: 対象モデルと同じGPU。論文の高速化数値は、1基のNVIDIA H200 NVLを同時実行数1、bf16で使用したものです。
• 性能: Qwen3-8B でテストされた中で最速のドラフト手法であり、再学習させた DFlash を平均で約 7% 上回る。
• 最良： 温度0でのGSM8Kにおける6.14倍の高速化(受容長7.69トークン)。
• 最悪: Alpacaで温度1の条件下で2.28倍の高速化。Qwen3-4B(温度0)では、9タスク中4タスクでDFlashに及ばない。

FlashMapとは何ですか?

FlashMapは、ガウスノイズを1ステップでトークンブロックへマッピングする推測デコーディングのドラフターです。小型のドラフターがK個のトークンを提案します。その後、ターゲットモデルが1回の並列パスですべてのK個を検証し、最長の一致プレフィックスを保持します。出力は、ターゲットモデルが生成するものと正確に同一のままです。

速度は2つの要素に依存します。ドラフトされたトークンがどれだけ受け入れられるか、そしてどれだけ安くドラフトされたかです。 EAGLE-3 drafts autoregressively so that cost grows with block length. → "drafts autoregressively so that cost grows with block length." DFlash ブロック拡散(block diffusion)を使用して、フルブロックを1パスでドラフトします。

なぜ拡散ドラフターは受け入れを失うのか?

DFlash はブロック内の各スロットを独立に予測します。研究チームはこれを「factorized approximation(因数分解近似)」と呼んでいます。同じ確率で「new york」または「san diego」と続く文脈を思い浮かべてください。独立にドラフトする手法は半分の確率で「new diego」や「san york」を提案します。ターゲットモデルはそれらをスロット 2 で棄却します。

FlashMapは Flow Map言語モデル。各ノイズサンプルが1つのフルブロックにマッピングされます。ノイズはすべてのスロットのモードを同時に選択します。

FlashMapはどのように動作するのか?

ドラフターは6ブロックの拡散トランスフォーマー(DiT)で、埋め込み次元は2048、アテンションヘッドは16です。ターゲットのレイヤー1、9、17、25、33から隠れ状態を読み取ります。埋め込み行列とLMヘッドはターゲットからコピーされ、凍結されたままです。

訓練は2段階で実行されます:

• Flow teacher(フローの教師): one-hotトークンブロック上の連続フローで、クロスエントロピーで訓練されます。時間の再パラメータ化により、Qwen3の151,936トークンの語彙に対応します。
• Flow map student(フローマップの生徒): 半群蒸留により、フローを2時間のデノイザーに変換します。ノイズからデータへ1ステップでジャンプします。

両方のドラフターは、以下の500Kサンプルで訓練されました: Open-PerfectBlend。すべてのモデルとアブレーションを合わせた総計算量は、H200で約4,600 GPU時間でした。

FlashMapはベンチマークでどのように比較されるのか?

研究チームはEAGLE-3とDFlashを同じデータと設定で再訓練しました。テストは数学、コード、チャットにわたる9つのベンチマークを、温度0と1でカバーします。

• 速度: 1ステップのFlashMapは、両方の温度において、すべてのQwen3-8Bタスクで最速のドラフターです。
• 精度: 1ステップのFlashMapは、18設定中15設定でDFlashをアクセプタンス長で上回ります。パラメータ数は約半分です。
• チャットでの向上が最大です: 温度0において、DFlashからの向上は数学で5.5%、チャットで11.1%です。
• 2ステップモード: アクセプタンス長は18設定中18設定すべてでDFlashを上回り、平均10%の向上です。
• EAGLE-3: 温度1ではアクセプタンス長が9%高いものの、実行速度は35%遅くなります。

シャッフルテストは、ドラフトが実際のトークン間構造を利用しているかどうかを検証します。2ステップでは、FlashMapは16ステップの教師による結合構造の利得の大部分を回復します。1ステップでは、そのごく一部しか保持しません。4つのノイズサンプルをツリーとしてドラフトすることで、高速化が平均11%向上しました。

比較:FlashMapと他のスペキュレーティブデコーディングのドラフター

平均 speedup は、Marktechpost が FlashMap 論文の Figure 1(c) から算出したものです。対応する行は著者らが再学習させたベースラインを使用しています。

FlashMap はどうデプロイしますか？

この flashmap パッケージに必要なのは torch と transformers>=4.56だけです。次のコマンドでインストールします uv pip install flashmap。 spec_generate の呼び出し 1 回で、drafter と target を 1 GPU 上で一緒に実行できます。

サービングについては、 プロジェクトページ に 2 つの方法が示されています：

• vLLM 0.31： drafter を --speculative-config に渡し、 num_speculative_tokens を 16 に設定します。
• SGLang 0.5.20： FlashMap の draft パスを指定して --speculative-algorithm DSPARK を使用します。

設定する num_steps=2 速度の一部を高い受容率と引き換えにするものです。温度0を超えるサンプリングでは、vLLM は "draft_sample_method": "probabilistic".

重要ポイント

• FlashMapは連続フローマップを用いて、1パスで16トークンを同時にドラフト生成します。
• Qwen3-8Bにおいて、0.5Bのドラフターを使用して最大6.14倍の損失なしの高速化を達成。
• 再学習した DFlash よりも、9 つの Qwen3-8B ベンチマークすべてで高速です。
• 2ステップモードはブロック全体で承認率を一定に保ちます。
• 重みはApache-2.0、コードはMITライセンスで、vLLMおよびSGLangのプラグインが付属します。

チェックしてみてください: 論文, プロジェクトページ, GitHubリポジトリ および モデルの重み. また、ぜひ私たちをフォローしてください Twitter そして、私たちの ML SubReddit 150k人以上 および、次のチャンネル登録を: 当社のニュースレター. 待って!Telegramをやっていますか? telegramでもご参加いただけるようになりました。

Your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar などのプロモーションについて、弊社とのパートナーシップをご希望ですか？ 私たちとつながりましょう

この投稿 Polymathic AIとプリンストン大学の研究者ら、LLMデコードを6.14倍高速化するフローマップドラフター「FlashMap」を公開 最初に掲載されたのは MarkTechPost.