El equipo de vLLM Semantic Router ha lanzado Decision 3.0, una familia de modelos de decisión multimodales. Los modelos de decisión multimodales de Decision 3.0 leen texto, JSON e imágenes, y luego responden preguntas tipificadas sobre ellos. Hay 5 tamaños, de 0.8B a 27B, todos bajo Apache-2.0. Para los desarrolladores, es una forma rápida de clasificar, enrutar y filtrar solicitudes sin analizar texto generado.
Resumen:
- Tamaño: 5 modelos: d3-lite (0.85B), d3-nano (2.21B), d3-mini (4.54B), d3-flash (8.39B), d3 (26.09B). Longitud de contexto: no divulgada.
- Se ejecuta en: latencia medida en 1 GPU AMD Instinct MI325X. Pesos BF16; no hay variantes cuantizadas oficiales listadas.
- Rendimiento: el d3 de 27B lidera tanto las tablas de texto como de visión en su ficha, pero en una evaluación interna.
- Mejor: 97.7 en extracción de documentos KIE (CORD+FUNSD) (d3).
- Peor: 34.1 en R-Bench-M (d3).
- Conclusión:
- Lo mejor: un modelo de 9B ahora supera al 27B de la generación anterior.
- Lo peor: las puntuaciones son autoinformadas contra datos del tablero en vivo.
¿Qué es Decision 3.0?
Decision 3.0 es un conjunto de modelos de decisión abiertos de vLLM Semantic Router que devuelven probabilidades en lugar de texto. Se le pasa un estado (texto o JSON), imágenes opcionales y preguntas con nombre. Cada pregunta es una Choice, una Yes/No o una Score en una escala. El modelo responde todas las preguntas en una sola llamada y devuelve una probabilidad para cada respuesta.
Este es el patrón de «sistema uno» para routers y guardarraíles. En lugar de hacer un prompt a un LLM y analizar su salida, obtiene puntuaciones calibradas que puede umbralizar.
¿Cómo funciona d3?
Cada modelo es un fine-tune de una base Qwen. El d3 de 27B está construido sobre Qwen3.8-27B. Los 4 más pequeños se basan en checkpoints Qwen3.5 de 0.8B, 2B, 4B y 9B.
Cada tamaño incluye un codificador de visión: 0.10B en d3-lite, 0.33B en d3-nano y d3-mini, y 0.46B en d3-flash y d3. Las solicitudes aceptan varias imágenes PNG, JPEG o WebP, cada una leída con hasta 1.6 megapíxeles. Cada pregunta ve todas las imágenes.
Cada pregunta tiene su propio pase hacia adelante sobre la entrada. Los objetivos de instalación transformers==5.17.0, y el paquete opcional flash-linear-attention acelera las capas de atención lineal. La carga necesita trust_remote_code=True.
¿Cómo rinde Decision 3.0 en los benchmarks?
A través de la model card, el equipo de investigación indica el Jev Decision Index 0.3.1, un tablero que clasifica reproducciones abiertas del sistema de decisiones Jev de TypeSafe. Las cifras de d3 son la evaluación interna del equipo.
En texto, d3 puntúa 64.1, por delante de Perplexity Decider v1.1 (62.8) y Jev (60.1). Una advertencia: Torchcast Decision 27B publica una puntuación más alta en la suite pública (65.1 frente a 64.9). En el tablero de visión, d3 puntúa 71.6 frente a 70.6 de Perplexity Decider v1.1.
La historia de tamaños es la parte más sólida. d3-flash (9B) puntúa 59.0, por encima del 27B de Decision 2.0 con 55.9. En la suite pública, las ganancias sobre Decision 2.0 van de +8.0 (27B) a +15.1 (0.8B).
El liderazgo por clase no es uniforme, sin embargo:
- d3-mini (4B) y d3-flash (9B) lideran tanto sus tablas de texto como de visión.
- d3-lite (0.8B) lidera en texto pero se clasifica 3.º en visión (41.1, detrás de JPT-0.8B con 42.1).
- d3-nano (2B) lidera su tabla de visión pero queda detrás de LiquidAI d1-3B en texto (35.8 frente a 40.1).
En tareas de visión públicas, d3 puntúa 97.3 en InfographicVQA y 89.9 en Mind2Web, ambas reconstrucciones aproximadas. Es más débil en MMMU-Pro vision (46.2) y en moderación de Hateful Memes (44.6).
¿Qué tan rápidos son los modelos?
Las medianas siguientes corresponden a 1 solicitud a la vez en 1 AMD Instinct MI325X, según cada tarjeta:
- d3-nano: 21.7 ms en texto, 92.0 ms con una imagen
- d3-lite: 23.5 ms para texto, 60.7 ms con una imagen
- d3-mini: 28.5 ms para texto, 115.0 ms con una imagen
- d3-flash: 29.7 ms para texto, 171.8 ms con una imagen
- d3: 84 ms para texto, 342 ms con una imagen
Todos los modelos fueron entrenados en GPUs AMD Instinct MI325X.
¿Cómo se compara d3 con otros modelos de decisión?
| Característica | d3 (vLLM SR) | Perplexity Decider v1.1 | Decision 2.0 Vega-27B | LiquidAI d1-3B |
|---|---|---|---|---|
| Parámetros | 26.09B | 26B (listado de HF) | 29.37B | 3.12B |
| Modelo base | Qwen3.8-27B | Qwen3.8-27B | Qwen3.8-27B | LFM2.5-VL-3B |
| Entradas | Texto, JSON, imágenes | Texto, imágenes | Texto, JSON | Texto, JSON, imágenes |
| Contexto | No revelado | 8,192 tokens por decisión | 32,768 tokens | 32,768 tokens |
| Licencia | Apache-2.0 | Apache-2.0 | Apache-2.0 | LFM 1.0 |
| Índice de decisión (tarjeta propia) | 64.1 (v0.3.1, interno) | 61.56 (versión no indicada) | 56.5 (v0.2.1) | 48.57 (v0.2.1) |
| Tabla del índice 0.3.1 (según las tarjetas de d3) | 64.1 | 62.8 | 55.9 | 40.1 |
| Tabla de visión 0.3.1 | 71.6 | 70.6 | No revelado (solo texto) | No revelado |
| Latencia mediana (tarjeta propia) | 84 ms de texto, 1 MI325X | No revelado | 71.4 ms, 1 GPU | 9 ms, 1 MI325X |
Conclusiones clave
- 5 modelos de decisión Apache-2.0, de 0.8B a 27B, todos con entrada de imagen.
- d3 (27B) encabeza sus tablas de texto (64.1) y de visión (71.6), en evaluaciones internas.
- El d3-flash de 9B (59.0) supera al 27B de Decision 2.0 (55.9).
- Los modelos de 0.8B y 2B no lideran todas las tablas.
- La latencia mediana de texto va de 21.7 a 84 ms en 1 MI325X.
Consulta la colección de Hugging Face, la tarjeta del modelo d3 y el repositorio de GitHub de vLLM Semantic Router. Todo el mérito es del investigador de este proyecto. Además, no dudes en seguirnos en Twitter y no olvides unirte a nuestro SubReddit de ML con más de 150k y suscribirte a nuestro Newsletter. ¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.
La entrada ¿Qué es Decision 3.0? Los nuevos Modelos de Decisión Abiertos del vLLM Semantic Router apareció primero en MarkTechPost.