Forscher von Polymathic AI, der Princeton University, USC ISI, NYU und dem Flatiron Institute haben FlashMapveröffentlicht. FlashMap Speculative Decoding ersetzt den Diffusion-Drafter durch eine kontinuierliche Flow Map. Sie entwirft einen vollständigen 16-Token-Block in 1 Forward-Pass. Die Tokens in diesem Block bleiben untereinander konsistent. Auf Qwen3-8B berichtet das Forschungsteam von bis zu 6,14x verlustfreiem Speedup auf GSM8K. Drafter-Gewichte für Qwen3-8B und Qwen3-4B sind auf Hugging Faceverfügbar, mit vLLM- und SGLang-Plugins.
TL;DR
- Größe: 0.5B-Parameter-Drafter (500M für Qwen3-8B, 475M für Qwen3-4B); entwirft Blöcke mit K = 16 Tokens.
- Läuft auf: derselben GPU wie das Zielmodell. Die Speedups im Paper verwenden 1 NVIDIA H200 NVL bei Concurrency 1, in bf16.
- Leistung: schnellster getesteter Drafter auf Qwen3-8B, im Durchschnitt etwa 7% über einem neu trainierten DFlash.
- Bestwert: 6,14x Speedup auf GSM8K bei Temperature 0 (Akzeptanzlänge 7,69 Tokens).
- Schlechtester Wert: 2,28x Speedup auf Alpaca bei Temperature 1. Auf Qwen3-4B (Temperature 0) liegt er bei 4 von 9 Aufgaben hinter DFlash zurück.
Was ist FlashMap?
FlashMap ist ein Speculative-Decoding-Drafter, der gaußsches Rauschen in 1 Schritt auf einen Token-Block abbildet. Ein kleiner Drafter schlägt K Tokens vor. Das Zielmodell prüft dann alle K in 1 parallelen Durchlauf und behält das längste übereinstimmende Präfix. Die Ausgabe bleibt exakt das, was das Zielmodell erzeugen würde.
Die Geschwindigkeit hängt von 2 Dingen ab: wie viele entworfene Tokens akzeptiert werden und wie billig sie entworfen wurden. EAGLE-3 entwirft autoregressiv, daher wachsen die Kosten mit der Blocklänge. DFlash entwirft den gesamten Block in 1 Durchlauf mit Block-Diffusion.
Warum verlieren Diffusion-Drafter Akzeptanz?
DFlash sagt jeden Slot im Block unabhängig voraus. Das Forschungsteam nennt dies die faktorisierte Approximation. Man stelle sich eine Fortsetzung vor, die „new york“ oder „san diego“ mit gleichen Wahrscheinlichkeiten lautet. Ein unabhängiger Drafter schlägt halb der Zeit „new diego“ oder „san york“ vor. Das Zielmodell verwirft diese an Slot 2.
FlashMap baut auf Flow Map Language Models. Jedes Rauschsample mappt auf 1 vollen Block. Das Rauschen wählt den Modus für alle Slots gemeinsam aus.
Wie funktioniert FlashMap?
Der Drafter ist ein Diffusion-Transformer (DiT) mit 6 Blöcken, eingebetteter Dimension 2048 und 16 Attention-Köpfen. Er liest versteckte Zustände aus den Zielschichten 1, 9, 17, 25 und 33. Einbettungsmatrix und LM-Kopf werden vom Ziel kopiert und bleiben eingefroren.
Das Training läuft in 2 Stufen:
- Flow-Lehrer: ein kontinuierlicher Fluss über One-Hot-Token-Blöcke, trainiert mit Cross-Entropy. Eine Zeit-Reparametrisierung behandelt Qwen3s Vokabular von 151,936 Token.
- Flow-Map-Schüler: Halbgruppen-Destillation verwandelt den Fluss in einen 2-Zeit-Denoiser. Er springt in 1 Schritt vom Rauschen zu den Daten.
Beide Drafter trainieren auf 500K Samples aus Open-PerfectBlend. Der gesamte Rechenaufwand über alle Modelle und Ablationen betrug etwa 4,600 GPU-Stunden auf H200s.
Wie schlägt sich FlashMap bei Benchmarks?
Das Forschungsteam trainierte EAGLE-3 und DFlash mit denselben Daten und Einstellungen neu. Die Tests umfassen 9 Benchmarks aus Mathematik, Code und Chat bei den Temperaturen 0 und 1.
- Geschwindigkeit: 1-Schritt-FlashMap ist der schnellste Drafter bei jeder Qwen3-8B-Aufgabe, bei beiden Temperaturen.
- Genauigkeit: 1-Schritt-FlashMap schlägt DFlash bei der Akzeptanzlänge in 15 von 18 Einstellungen. Es hat etwa die Hälfte der Parameter.
- Die Zuwächse im Chat sind am größten: bei Temperatur 0 liegen die Zuwächse gegenüber DFlash bei 5.5% in Mathematik und 11.1% im Chat.
- 2-Schritt-Modus: die Akzeptanzlänge schlägt DFlash in 18 von 18 Einstellungen, im Durchschnitt um 10%.
- EAGLE-3: bei Temperatur 1 hat es eine 9% höhere Akzeptanzlänge, läuft aber 35% langsamer.
Ein Shuffle-Test prüft, ob Entwürfe echte Inter-Token-Struktur nutzen. Bei 2 Schritten gewinnt FlashMap den größten Teil des Gemeinsamkeits-Strukturgewinns eines 16-Schritt-Lehrers zurück. Bei 1 Schritt behält er nur einen kleinen Bruchteil. Das Entwürfen von 4 Rauschsamples als Baum steigerte die Beschleunigung im Durchschnitt um 11%.
Vergleich: FlashMap gegenüber anderen Speculative-Decoding-Draftern
| Merkmal | FlashMap | DFlash | EAGLE-3 | DSpark |
|---|---|---|---|---|
| Entwurfsstil | Kontinuierlicher Flow-Map, 1 oder 2 Durchläufe | Block-Diffusion, 1 Durchlauf | Autoregressiv, Baum | Semi-autoregressiv |
| Abhängigkeiten zwischen Token | Ja, gemeinsam über Block | Nein, pro Slot unabhängig | Ja, sequenziell | Ja, leichtgewichtiges sequenzielles Modul |
| Drafter-Größe (Qwen3-8B) | 500M | 1B | 302M (nachtrainiert, laut FlashMap-Paper) | Nicht offengelegt |
| Kernbehauptung (eigene Quelle) | Bis zu 6,1x | Bis zu 6,17x auf Qwen3-8B | Bis zu 6,5x | 60 bis 85 % schneller pro Nutzer gegenüber MTP-1 |
| Durchschnittliche Beschleunigung, Qwen3-8B, T=0 (abgeglichen, FlashMap-Paper) | 4,36x | 4,07x | 2,55x | Nicht getestet |
| GSM8K-Beschleunigung, T=0 (abgeglichen) | 6.14x | 5.77x | 3.20x | Nicht getestet |
| Gewichts-Lizenz | Apache-2.0 | MIT | Apache-2.0 (Code) | Nicht offengelegt |
| Serving | Transformers, vLLM, SGLang | Transformers, vLLM, SGLang | SGLang und andere | DeepSeek-V4 Serving |
Die durchschnittlichen Speedups wurden von Marktechpost anhand von Abbildung 1(c) der FlashMap-Papiers berechnet. Übereinstimmende Zeilen verwenden die von den Autoren neu trainierten Baselines.
Wie deployt man FlashMap?
Das flashmap Paket benötigt nur torch und transformers>=4.56. Installieren Sie es mit uv pip install flashmap. Ein spec_generate Aufruf führt Drafter und Zielmodell zusammen auf 1 GPU aus.
Für Serving gibt die Projektseite 2 Wege:
- vLLM 0.31: übergeben Sie den Drafter in
--speculative-configmitnum_speculative_tokensauf 16 gesetzt. - SGLang 0.5.20: verwenden Sie
--speculative-algorithm DSPARKmit dem FlashMap-Draft-Pfad.
Setzen Sie num_steps=2 etwas Geschwindigkeit für höhere Akzeptanz einzutauschen. Für Sampling oberhalb der Temperatur 0 benötigt vLLM "draft_sample_method": "probabilistic".
Wichtigste Erkenntnisse
- FlashMap entwirft 16 Tokens gemeinsam in 1 Durchlauf mit einer kontinuierlichen Flow Map.
- Bis zu 6.14-facher verlustfreier Speedup auf Qwen3-8B, mit einem 0.5B-Drafter.
- Schneller als ein neu trainiertes DFlash auf allen 9 Qwen3-8B-Benchmarks.
- Der 2-Schritt-Modus hält die Akzeptanz über den gesamten Block konstant.
- Die Gewichte stehen unter Apache-2.0, der Code unter MIT, mit vLLM- und SGLang-Plugins.
Schauen Sie sich die Paper, Projektseite, GitHub-Repo und die Modellgewichtean. Außerdem folgen Sie uns gerne auf Twitter und vergessen Sie nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.
Müssen Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face-Seite ODER Ihre Produktveröffentlichung ODER Ihr Webinar usw. zu bewerben? Verbinden Sie sich mit uns
Der Beitrag Polymathic AI und Princeton-Forscher veröffentlichen FlashMap, einen Flow Map Drafter für 6.14-fach schnelleres LLM-Decoding erschien zuerst auf MarkTechPost.