The vLLM Semantic Router チームは Decision 3.0をリリースしました。これはマルチモーダル意思決定モデルのファミリーです。Decision 3.0のマルチモーダル意思決定モデルはテキスト、JSON、画像を読み取り、それらについて型付きの質問に回答します。サイズは0.8Bから27Bまでの5種類で、すべてApache-2.0の下で提供されています。開発者にとって、これは生成されたテキストを解析することなく、リクエストを分類、ルーティング、ゲート処理する高速な手段です。
TL;DR
- サイズ: 5つのモデル: d3-lite (0.85B)、 d3-nano (2.21B)、 d3-mini (4.54B)、 d3-flash (8.39B)、 d3 (26.09B)。コンテキスト長: 非公開。
- 動作環境: レイテンシは1基のAMD Instinct MI325X GPUで測定。BF16の重み。公式な量子化バリアントの記載はなし。
- パフォーマンス: 27Bのd3はカード内のテキストとビジョンの両方の表で首位ですが、社内評価によるものです。
- 最高: KIE (CORD+FUNSD) のドキュメント抽出で97.7 (d3)。
- 最低: R-Bench-Mで34.1 (d3)。
- まとめ:
- 最高: 9Bモデルが前世代の27Bを上回りました。
- 最低: スコアはライブボードデータに対する自己申告です。
Decision 3.0とは何ですか？
Decision 3.0は、vLLM Semantic Routerによるオープンな決定モデル群で、テキストの代わりに確率を返します。状態（テキストまたはJSON）、任意の画像、名前付きの質問を渡します。各質問は、Choice、Yes/No、または尺度上のScoreです。この モデル はすべての質問を1回の呼び出しで回答し、すべての回答に対する確率を返します。
これは、ルーターやガードレール向けの「システム1」パターンです。LLMにプロンプトを出して出力を解析する代わりに、しきい値処理が可能な較正済みスコアを取得できます。
d3はどのように動作しますか？
各モデルはQwenベースのファインチューニングです。27Bのd3は Qwen3.8-27Bを基盤としています。より小さい4つのモデルは、0.8B、2B、4B、9BのQwen3.5チェックポイントを基盤としています。
すべてのサイズにビジョンエンコーダが搭載されています：d3-liteには0.10B、d3-nanoとd3-miniには0.33B、d3-flashとd3には0.46Bです。リクエストでは複数のPNG、JPEGまたはWebP画像を受け付け、各画像は最大1.6メガピクセルで読み込まれます。すべての質問がすべての画像を見ます。
各質問は入力に対して独自のフォワードパスを持ちます。インストール対象は transformers==5.17.0で、オプションの flash-linear-attention パッケージが線形アテンション層を高速化します。読み込みには次が必要です： trust_remote_code=True.
ベンチマークにおけるDecision 3.0の性能はどうですか？
モデルカードを通じて、研究チームは Jev Decision Index 0.3.1について述べています。これはTypeSafeのJev決定システムのオープンな再現実装をランク付けするボードです。d3の数値はチームの内部評価です。
テキストでは、 d3 は64.1を獲得し、Perplexity Decider v1.1（62.8）とJev（60.1）を上回ります。1つの注意点として、Torchcast Decision 27Bはより高い公開スイートのスコア（65.1対64.9）を記録しています。ビジョンボードでは、d3は71.6を獲得し、Perplexity Decider v1.1の70.6に対して優位です。
サイズのストーリーが最も強力な部分です。 d3-flash （9B）は59.0を獲得し、55.9のDecision 2.0の27Bを上回ります。公開スイートでは、Decision 2.0に対する改善幅は+8.0（27B）から+15.1（0.8B）の範囲です。
ただし、カテゴリー別の首位は一様ではありません：
- d3-mini（4B）とd3-flash（9B）は、テキストとビジョンの両方の表で首位です。
- d3-lite（0.8B）はテキストで首位ですが、ビジョンでは3位です（41.1、42.1のJPT-0.8Bに次ぐ）。
- d3-nano（2B）はビジョンの表で首位ですが、テキストではLiquidAI d1-3Bに及びません（35.8対40.1）。
公開ビジョンタスクでは、d3はInfographicVQAで97.3、Mind2Webで89.9を獲得しており、いずれもほぼ再現されたビルドです。MMMU-Pro vision（46.2）とHateful Memesモデレーション（44.6）ではやや弱いです。
モデルの速度はどうですか？
以下の中央値は、各カードにおいて、1つのAMD Instinct MI325X上で1リクエストずつ処理した場合のものです：
- d3-nano：テキストで21.7 ms、画像ありで92.0 ms
- d3-lite: テキスト 23.5 ms、画像あり 60.7 ms
- d3-mini: テキスト 28.5 ms、画像あり 115.0 ms
- d3-flash: テキスト 29.7 ms、画像あり 171.8 ms
- d3: テキスト 84 ms、画像あり 342 ms
すべてのモデルは AMD Instinct MI325X GPU で学習されました。
d3 は他の判断モデルとどう比べられるか?
| 機能 | d3 (vLLM SR) | Perplexity Decider v1.1 | Decision 2.0 Vega-27B | LiquidAI d1-3B |
|---|---|---|---|---|
| パラメータ数 | 26.09B | 26B (HF 掲載) | 29.37B | 3.12B |
| ベースモデル | Qwen3.8-27B | Qwen3.8-27B | Qwen3.8-27B | LFM2.5-VL-3B |
| 入力 | テキスト、JSON、画像 | テキスト、画像 | テキスト、JSON | テキスト、JSON、画像 |
| コンテキスト | 非公開 | 1 回の判断あたり 8,192 トークン | 32,768 トークン | 32,768 トークン |
| ライセンス | Apache-2.0 | Apache-2.0 | Apache-2.0 | LFM 1.0 |
| Decision Index（自社カード） | 64.1（v0.3.1、内部） | 61.56（バージョン未記載） | 56.5（v0.2.1） | 48.57（v0.2.1） |
| Index 0.3.1 ボード（d3 カードによる） | 64.1 | 62.8 | 55.9 | 40.1 |
| Vision ボード 0.3.1 | 71.6 | 70.6 | 非公開（テキストのみ） | 非公開 |
| 中央値レイテンシ（自社カード） | 84 ms テキスト、1 MI325X | 非公開 | 71.4 ms、1 GPU | 9 ms、1 MI325X |
主なポイント
- Apache-2.0 の判断モデル 5 種類、0.8B から 27B まで、すべて画像入力に対応。
- d3（27B）はテキスト（64.1）とビジョン（71.6）の両表で首位、ただし内部評価による。
- 9B の d3-flash（59.0）は Decision 2.0 の 27B（55.9）を上回る。
- 0.8B と 2B のモデルはすべてのボードで首位ではない。
- テキストの中央値レイテンシは 1 MI325X で 21.7 ～ 84 ms。
以下をご覧ください： Hugging Face コレクション、 d3 モデルカード 、そして vLLM Semantic Router GitHub リポジトリ。本プロジェクトの研究者に全ての功績があります。また、ぜひ Twitter そして、私たちのへの参加もお忘れなく 150k以上のML SubReddit および登録する 弊社ニュースレター. お待ちください! Telegramをお使いですか? Telegramでもご参加いただけるようになりました。
この投稿 Decision 3.0とは何か? vLLM Semantic Routerの新しいOpen Decision Models 最初に掲載されたのは MarkTechPost.