Investigadores de Polymathic AI, Universidad de Princeton, USC ISI, NYU y el Flatiron Institute han publicado FlashMap. La decodificación especulativa de FlashMap reemplaza el borrador de difusión discreta con un mapa de flujo continuo. Redacta un bloque completo de 16 tokens en 1 pasada hacia adelante. Los tokens de ese bloque permanecen consistentes entre sí. En Qwen3-8B, el equipo de investigación informa hasta una aceleración sin pérdidas de 6.14x en GSM8K. Los pesos del borrador para Qwen3-8B y Qwen3-4B están en Hugging Face, con plugins para vLLM y SGLang.
TL;DR
- Tamaño: borrador de 0.5B parámetros (500M para Qwen3-8B, 475M para Qwen3-4B); redacta bloques de K = 16 tokens.
- Se ejecuta en: la misma GPU que el modelo objetivo. Las aceleraciones del artículo usan 1 NVIDIA H200 NVL a concurrencia 1, en bf16.
- Rendimiento: el borrador más rápido probado en Qwen3-8B, alrededor de 7% por encima de un DFlash reentrenado en promedio.
- Mejor caso: aceleración de 6.14x en GSM8K a temperatura 0 (longitud de aceptación de 7.69 tokens).
- Peor caso: aceleración de 2.28x en Alpaca a temperatura 1. En Qwen3-4B (temperatura 0), queda detrás de DFlash en 4 de 9 tareas.
¿Qué es FlashMap?
FlashMap es un borrador de decodificación especulativa que mapea ruido gaussiano a un bloque de tokens en 1 paso. Un borrador pequeño propone K tokens. Luego el modelo objetivo verifica los K en 1 pasada paralela y conserva el prefijo coincidente más largo. La salida es exactamente lo que el modelo objetivo produciría.
La velocidad depende de 2 cosas. Cuántos tokens redactados son aceptados, y a qué costo fueron redactados. EAGLE-3 redacta de forma autorregresiva, por lo que el costo crece con la longitud del bloque. DFlash redacta el bloque completo en 1 pasada con difusión por bloques.
¿Por qué los borradores de difusión pierden aceptación?
DFlash predice cada posición del bloque de forma independiente. El equipo de investigación llama a esto la aproximación factorizada. Imagínese una continuación que es “new york” o “san diego” con la misma probabilidad. Un borrador independiente propone “new diego” o “san york” la mitad de las veces. El modelo objetivo rechaza esos en la posición 2.
FlashMap se basa en Modelos de lenguaje de mapas de flujo. Cada muestra de ruido se mapea a 1 bloque completo. El ruido elige el modo para todos los slots de forma conjunta.
¿Cómo funciona FlashMap?
El drafters es un transformador de difusión de 6 bloques (DiT), con dimensión de embedding 2048 y 16 cabezas de atención. Lee estados ocultos de las capas objetivo 1, 9, 17, 25 y 33. La matriz de embedding y la LM head se copian del modelo objetivo y permanecen congeladas.
El entrenamiento se realiza en 2 etapas:
- Profesor de flujo: un flujo continuo sobre bloques de tokens one-hot, entrenado con entropía cruzada. Una reparametrización temporal maneja el vocabulario de 151,936 tokens de Qwen3.
- Estudiante de mapa de flujo: la destilación de semigrupo convierte el flujo en un denoiser de 2 tiempos. Salta del ruido a los datos en 1 paso.
Ambos drafters se entrenan con 500K muestras de Open-PerfectBlend. El cómputo total en todos los modelos y ablations fue de aproximadamente 4,600 horas de GPU en H200.
¿Cómo se compara FlashMap en los benchmarks?
El equipo de investigación reentrenó EAGLE-3 y DFlash con los mismos datos y ajustes. Las pruebas cubren 9 benchmarks de matemáticas, código y chat, a temperaturas 0 y 1.
- Velocidad: FlashMap de 1 paso es el drafter más rápido en cada tarea de Qwen3-8B, a ambas temperaturas.
- Precisión: FlashMap de 1 paso supera a DFlash en longitud de aceptación en 15 de 18 configuraciones. Tiene aproximadamente la mitad de los parámetros.
- Las ganancias en chat son las mayores: a temperatura 0, las ganancias sobre DFlash son 5.5% en matemáticas y 11.1% en chat.
- Modo de 2 pasos: la longitud de aceptación supera a DFlash en 18 de 18 configuraciones, un 10% en promedio.
- EAGLE-3: a temperatura 1, tiene una longitud de aceptación 9% mayor pero se ejecuta 35% más lento.
Una prueba de barajado comprueba si los borradores usan una estructura real entre tokens. A 2 pasos, FlashMap recupera la mayor parte de la ganancia de estructura conjunta de un profesor de 16 pasos. A 1 paso, conserva solo una pequeña fracción. Redactar 4 muestras de ruido como un árbol aumentó el speedup un 11% en promedio.
Comparación: FlashMap frente a otros drafters de decodificación especulativa
| Característica | FlashMap | DFlash | EAGLE-3 | DSpark |
|---|---|---|---|---|
| Estilo de borrador | Mapa de flujo continuo, 1 o 2 pasadas | Difusión por bloques, 1 pasada | Autorregresivo, árbol | Semiautorregresivo |
| Dependencias entre tokens | Sí, conjunta sobre el bloque | No, independiente por ranura | Sí, secuencial | Sí, módulo secuencial ligero |
| Tamaño del borrador (Qwen3-8B) | 500M | 1B | 302M (reentrenado, según el artículo de FlashMap) | No divulgado |
| Afirmación principal (fuente propia) | Hasta 6.1x | Hasta 6.17x en Qwen3-8B | Hasta 6.5x | 60 a 85% más rápido por usuario frente a MTP-1 |
| Aceleración media, Qwen3-8B, T=0 (comparado, artículo de FlashMap) | 4.36x | 4.07x | 2.55x | No probado |
| Aceleración en GSM8K, T=0 (comparado) | 6.14x | 5.77x | 3.20x | No probado |
| Licencia de los pesos | Apache-2.0 | MIT | Apache-2.0 (código) | No divulgado |
| Servicio | Transformers, vLLM, SGLang | Transformers, vLLM, SGLang | SGLang y otros | Servicio de DeepSeek-V4 |
Las aceleraciones promedio fueron calculadas por Marktechpost a partir de la Figura 1(c) del artículo de FlashMap. Las filas coincidentes usan las líneas base reentrenadas por los autores.
¿Cómo se despliega FlashMap?
El flashmap paquete solo necesita torch y transformers>=4.56. Instálalo con uv pip install flashmap. Una llamada spec_generate ejecuta el drafter y el target juntos en 1 GPU.
Para el servicio, la página del proyecto ofrece 2 rutas:
- vLLM 0.31: pasa el drafter en
--speculative-configconnum_speculative_tokensestablecido en 16. - SGLang 0.5.20: usa
--speculative-algorithm DSPARKcon la ruta de borrador de FlashMap.
Configura num_steps=2 a cambio de ceder algo de velocidad para lograr una mayor aceptación. Para el muestreo por encima de la temperatura 0, vLLM necesita "draft_sample_method": "probabilistic".
Puntos clave
- FlashMap redacta 16 tokens de forma conjunta en 1 pasada con un mapa de flujo continuo.
- Hasta 6.14x de aceleración sin pérdida en Qwen3-8B, usando un borrador de 0.5B.
- Más rápido que un DFlash reentrenado en los 9 benchmarks de Qwen3-8B.
- El modo de 2 pasos mantiene la aceptación estable en todo el bloque.
- Los pesos son Apache-2.0, el código es MIT, con plugins para vLLM y SGLang.
Echa un vistazo al paper, página del proyecto, repositorio de GitHub y a los pesos del modelo. Además, no dudes en seguirnos en Twitter y no olvides unirte a nuestro SubReddit de ML con más de 150k y suscribirte a nuestro Newsletter. ¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.
¿Necesitas asociarte con nosotros para promocionar tu repositorio de GitHub O página de Hugging Face O lanzamiento de producto O webinar, etc.? Conéctate con nosotros
La entrada Polymathic AI e investigadores de Princeton publican FlashMap, un borrador de mapa de flujo para una decodificación de LLM 6.14x más rápida apareció primero en MarkTechPost.