Das vLLM Semantic Router Team hat Decision 3.0veröffentlicht, eine Familie multimodaler Entscheidungsmodelle. Die multimodalen Entscheidungsmodelle von Decision 3.0 lesen Text, JSON und Bilder und beantworten dann typisierte Fragen dazu. Es gibt 5 Größen, von 0.8B bis 27B, alle unter Apache-2.0. Für Entwickler ist dies ein schneller Weg, Anfragen zu klassifizieren, zu routen und zu filtern, ohne generierten Text parsen zu müssen.
Kurzfassung
- Größe: 5 Modelle: d3-lite (0.85B), d3-nano (2.21B), d3-mini (4.54B), d3-flash (8.39B), d3 (26.09B). Kontextlänge: nicht angegeben.
- Läuft auf: Latenz gemessen auf 1 AMD Instinct MI325X GPU. BF16-Gewichte; keine offiziellen quantisierten Varianten gelistet.
- Leistung: das 27B d3 führt in seiner Modellkarte sowohl die Text- als auch die Vision-Tabellen an, jedoch bei interner Evaluierung.
- Bestes Ergebnis: 97.7 bei KIE (CORD+FUNSD) Dokumentextraktion (d3).
- Schlechtestes Ergebnis: 34.1 bei R-Bench-M (d3).
- Fazit:
- Bestens: Ein 9B-Modell schlägt jetzt die 27B der letzten Generation.
- Schlechtester Punkt: Die Werte wurden selbst gemeldet und gegen Live-Benchmark-Daten erhoben.
Was ist Decision 3.0?
Decision 3.0 ist eine Reihe offener Entscheidungsmodelle von vLLM Semantic Router, die Wahrscheinlichkeiten statt Text zurückgeben. Man übergibt einen Zustand (Text oder JSON), optionale Bilder und benannte Fragen. Jede Frage ist eine Choice, ein Ja/Nein oder ein Score auf einer Skala. Das Modell beantwortet alle Fragen in einem Aufruf und gibt für jede Antwort eine Wahrscheinlichkeit zurück.
Dies ist das „System eins“-Muster für Router und Guardrails. Statt ein LLM zu prompten und seine Ausgabe zu parsen, erhält man kalibrierte Scores, die man mit Schwellenwerten versehen kann.
Wie funktioniert d3?
Jedes Modell ist ein Fine-Tune einer Qwen-Basis. Das 27B-d3 basiert auf Qwen3.8-27B. Die kleineren 4 bauen auf Qwen3.5-Checkpoints bei 0.8B, 2B, 4B und 9B auf.
Jede Größe verfügt über einen Vision-Encoder: 0.10B in d3-lite, 0.33B in d3-nano und d3-mini sowie 0.46B in d3-flash und d3. Anfragen akzeptieren mehrere PNG-, JPEG- oder WebP-Bilder, die jeweils mit bis zu 1.6 Megapixeln eingelesen werden. Jede Frage sieht alle Bilder.
Jede Frage erhält ihren eigenen Forward-Pass über die Eingabe. Installationsziele transformers==5.17.0, und das optionale flash-linear-attention Paket beschleunigt die Linear-Attention-Schichten. Das Laden erfordert trust_remote_code=True.
Wie schneidet Decision 3.0 bei Benchmarks ab?
Über die Modellkarte gibt das Forschungsteam an, dass der Jev Decision Index 0.3.1, ein Board, das offene Reproduktionen von TypeSafes Jev-Entscheidungssystem rankt. Die d3-Zahlen stammen aus der internen Evaluation des Teams.
Bei Text erzielt d3 einen Score von 64.1, vor Perplexity Decider v1.1 (62.8) und Jev (60.1). Ein Vorbehalt: Torchcast Decision 27B erreicht einen höheren Public-Suite-Score (65.1 gegenüber 64.9). Auf dem Vision-Board erzielt d3 71.6 gegenüber 70.6 für Perplexity Decider v1.1.
Die Größengeschichte ist der stärkste Teil. d3-flash (9B) erreicht 59.0, über Decision 2.0s 27B mit 55.9. Auf der Public Suite liegen die Gewinne gegenüber Decision 2.0 zwischen +8.0 (27B) und +15.1 (0.8B).
Die Klassenführung ist jedoch nicht einheitlich:
- d3-mini (4B) und d3-flash (9B) führen sowohl ihre Text- als auch ihre Vision-Tabellen an.
- d3-lite (0.8B) führt bei Text, liegt aber bei Vision auf Platz 3 (41.1, hinter JPT-0.8B mit 42.1).
- d3-nano (2B) führt seine Vision-Tabelle an, liegt aber bei Text hinter LiquidAI d1-3B (35.8 gegenüber 40.1).
Bei öffentlichen Vision-Aufgaben erzielt d3 97.3 auf InfographicVQA und 89.9 auf Mind2Web, beides ungefähre Nachbauten. Schwächer ist es bei MMMU-Pro vision (46.2) und Hateful Memes moderation (44.6).
Wie schnell sind die Modelle?
Die folgenden Mediane gelten für jeweils 1 Anfrage gleichzeitig auf 1 AMD Instinct MI325X, je nach Karte:
- d3-nano: 21.7 ms Text, 92.0 ms mit einem Bild
- d3-lite: 23,5 ms Text, 60,7 ms mit einem Bild
- d3-mini: 28,5 ms Text, 115,0 ms mit einem Bild
- d3-flash: 29,7 ms Text, 171,8 ms mit einem Bild
- d3: 84 ms Text, 342 ms mit einem Bild
Alle Modelle wurden auf AMD Instinct MI325X GPUs trainiert.
Wie schneidet d3 im Vergleich mit anderen Entscheidungsmodellen ab?
| Feature | d3 (vLLM SR) | Perplexity Decider v1.1 | Decision 2.0 Vega-27B | LiquidAI d1-3B |
|---|---|---|---|---|
| Parameter | 26,09 Mrd. | 26 Mrd. (HF listing) | 29,37 Mrd. | 3,12 Mrd. |
| Basismodell | Qwen3.8-27B | Qwen3.8-27B | Qwen3.8-27B | LFM2.5-VL-3B |
| Eingaben | Text, JSON, Bilder | Text, Bilder | Text, JSON | Text, JSON, Bilder |
| Kontext | Nicht offengelegt | 8,192 Tokens pro Entscheidung | 32,768 Tokens | 32,768 Tokens |
| Lizenz | Apache-2.0 | Apache-2.0 | Apache-2.0 | LFM 1.0 |
| Decision Index (eigene Karte) | 64.1 (v0.3.1, intern) | 61.56 (Version nicht angegeben) | 56.5 (v0.2.1) | 48.57 (v0.2.1) |
| Index 0.3.1 Tabelle (laut d3-Karten) | 64.1 | 62.8 | 55.9 | 40.1 |
| Vision-Tabelle 0.3.1 | 71.6 | 70.6 | Nicht offengelegt (nur Text) | Nicht offengelegt |
| Median-Latenz (eigene Karte) | 84 ms Text, 1 MI325X | Nicht offengelegt | 71.4 ms, 1 GPU | 9 ms, 1 MI325X |
Kernaussagen
- 5 Apache-2.0-Entscheidungsmodelle, 0.8B bis 27B, alle mit Bildeingabe.
- d3 (27B) führt seine Text- (64.1) und Vision-Tabellen (71.6) an, bei internen Evaluierungen.
- Das 9B-Modell d3-flash (59.0) schlägt Decisions 2.0 mit 27B (55.9).
- Die Modelle 0.8B und 2B führen nicht jede Tabelle an.
- Die Median-Textlatenz liegt bei 21.7 bis 84 ms auf 1 MI325X.
Schauen Sie sich die Hugging Face collection, die d3-Modellkarte und das vLLM Semantic Router GitHub-Repositoryan. Alle Credits gehen an die Forscherin oder den Forscher dieses Projekts. Folgen Sie uns gerne auch auf Twitter und vergesst nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Seid ihr auf Telegram? jetzt könnt ihr uns auch auf Telegram folgen.
Der Beitrag Was ist Decision 3.0? Die neuen offenen Decision Models von vLLM Semantic Router erschien zuerst auf MarkTechPost.