L'équipe vLLM Semantic Router a publié Decision 3.0, une famille de modèles de décision multimodaux. Les modèles de décision multimodaux Decision 3.0 lisent du texte, du JSON et des images, puis répondent à des questions typées à leur sujet. Il existe 5 tailles, de 0.8B à 27B, toutes sous Apache-2.0. Pour les développeurs, c'est un moyen rapide de classer, router et filtrer les requêtes sans analyser de texte généré.
TL;DR
- Taille : 5 modèles : d3-lite (0.85B), d3-nano (2.21B), d3-mini (4.54B), d3-flash (8.39B), d3 (26.09B). Longueur de contexte : non divulguée.
- S'exécute sur : latence mesurée sur 1 GPU AMD Instinct MI325X. Poids BF16 ; aucune variante quantisée officielle répertoriée.
- Performances : le d3 27B mène à la fois les tableaux de texte et de vision dans sa fiche, mais lors d'une évaluation interne.
- Meilleur : 97.7 sur KIE (CORD+FUNSD) pour l'extraction de documents (d3).
- Pire : 34.1 sur R-Bench-M (d3).
- En résumé :
- Meilleur : un modèle 9B bat désormais le 27B de la génération précédente.
- Pire : les scores sont auto-déclarés par rapport aux données du tableau en direct.
Qu'est-ce que Decision 3.0 ?
Decision 3.0 est un ensemble de modèles de décision ouverts de vLLM Semantic Router qui renvoient des probabilités au lieu de texte. Vous transmettez un état (texte ou JSON), des images facultatives et des questions nommées. Chaque question est un Choice, un Yes/No ou un Score sur une échelle. Le modèle répond à toutes les questions en un seul appel et renvoie une probabilité pour chaque réponse.
C'est le schéma du « système un » pour les routeurs et les garde-fous. Au lieu d'interroger un LLM et d'analyser sa sortie, vous obtenez des scores calibrés sur lesquels vous pouvez fixer des seuils.
Comment fonctionne d3 ?
Chaque modèle est un affinage d'une base Qwen. Le d3 27B est construit sur Qwen3.8-27B. Les 4 plus petits s'appuient sur des points de contrôle Qwen3.5 à 0.8B, 2B, 4B et 9B.
Chaque taille embarque un encodeur de vision : 0.10B dans d3-lite, 0.33B dans d3-nano et d3-mini, et 0.46B dans d3-flash et d3. Les requêtes acceptent plusieurs images PNG, JPEG ou WebP, chacune lue à hauteur de 1.6 mégapixels. Chaque question voit toutes les images.
Chaque question bénéficie de sa propre passe avant sur l'entrée. L'installation cible transformers==5.17.0, et le paquet facultatif flash-linear-attention accélère les couches d'attention linéaire. Le chargement nécessite trust_remote_code=True.
Comment Decision 3.0 se comporte-t-il sur les benchmarks ?
Via la fiche du modèle, l'équipe de recherche indique le Jev Decision Index 0.3.1, un classement qui évalue les reproductions ouvertes du système de décision Jev de TypeSafe. Les chiffres de d3 proviennent de l'évaluation interne de l'équipe.
Sur le texte, d3 obtient 64.1, devant Perplexity Decider v1.1 (62.8) et Jev (60.1). Une réserve : Torchcast Decision 27B affiche un score plus élevé sur la suite publique (65.1 contre 64.9). Sur le tableau de vision, d3 obtient 71.6 contre 70.6 pour Perplexity Decider v1.1.
L'histoire des tailles est l'aspect le plus fort. d3-flash (9B) obtient 59.0, au-dessus des 55.9 du 27B de Decision 2.0. Sur la suite publique, les gains par rapport à Decision 2.0 vont de +8.0 (27B) à +15.1 (0.8B).
La domination par classe n'est toutefois pas uniforme :
- d3-mini (4B) et d3-flash (9B) mènent leurs tableaux textuel et de vision.
- d3-lite (0.8B) mène en texte mais se classe 3e en vision (41.1, derrière JPT-0.8B à 42.1).
- d3-nano (2B) mène son tableau de vision mais est devancé par LiquidAI d1-3B en texte (35.8 contre 40.1).
Sur les tâches de vision publiques, d3 obtient 97.3 sur InfographicVQA et 89.9 sur Mind2Web, deux reconstructions approximatives. Il est plus faible sur MMMU-Pro vision (46.2) et sur la modération Hateful Memes (44.6).
Quelle est la vitesse des modèles ?
Les médianes ci-dessous correspondent à 1 requête à la fois sur 1 AMD Instinct MI325X, pour chaque fiche :
- d3-nano : 21.7 ms en texte, 92.0 ms avec une image
- d3-lite : 23,5 ms pour le texte, 60,7 ms avec une image
- d3-mini : 28,5 ms pour le texte, 115,0 ms avec une image
- d3-flash : 29,7 ms pour le texte, 171,8 ms avec une image
- d3 : 84 ms pour le texte, 342 ms avec une image
Tous les modèles ont été entraînés sur des GPU AMD Instinct MI325X.
Comment d3 se compare-t-il aux autres modèles de décision ?
| Caractéristique | d3 (vLLM SR) | Perplexity Decider v1.1 | Decision 2.0 Vega-27B | LiquidAI d1-3B |
|---|---|---|---|---|
| Paramètres | 26.09B | 26B (fiche HF) | 29.37B | 3.12B |
| Modèle de base | Qwen3.8-27B | Qwen3.8-27B | Qwen3.8-27B | LFM2.5-VL-3B |
| Entrées | Texte, JSON, images | Texte, images | Texte, JSON | Texte, JSON, images |
| Contexte | Non divulgué | 8 192 jetons par décision | 32 768 jetons | 32 768 jetons |
| Licence | Apache-2.0 | Apache-2.0 | Apache-2.0 | LFM 1.0 |
| Indice de décision (carte propre) | 64.1 (v0.3.1, interne) | 61.56 (version non précisée) | 56.5 (v0.2.1) | 48.57 (v0.2.1) |
| Tableau d'index 0.3.1 (par cartes d3) | 64.1 | 62.8 | 55.9 | 40.1 |
| Vision board 0.3.1 | 71.6 | 70.6 | Non divulgué (texte uniquement) | Non divulgué |
| Latence médiane (carte propre) | 84 ms de texte, 1 MI325X | Non divulgué | 71.4 ms, 1 GPU | 9 ms, 1 MI325X |
Points clés à retenir
- 5 modèles décisionnels sous licence Apache-2.0, de 0.8B à 27B, tous avec entrée d'image.
- d3 (27B) arrive en tête de ses tableaux texte (64.1) et vision (71.6), selon des évaluations internes.
- Le 9B d3-flash (59.0) bat le 27B de Decision 2.0 (55.9).
- Les modèles 0.8B et 2B ne dominent pas tous les tableaux.
- La latence médiane du texte varie de 21.7 à 84 ms sur 1 MI325X.
Découvrez le Collection Hugging Face, le Carte de modèle d3 et le Dépôt GitHub du vLLM Semantic Router« . Tout le mérite revient au chercheur de ce projet. N'hésitez également pas à nous suivre sur » Twitter et n'oubliez pas de rejoindre notre 150k+ML SubReddit et de vous abonner à notre Newsletter. Attendez ! êtes-vous sur telegram ? vous pouvez maintenant nous rejoindre également sur telegram.
L'article Qu'est-ce que Decision 3.0 ? Les nouveaux modèles de décision ouverts du vLLM Semantic Router est applu0000first sur MarkTechPost.