The vLLM Semantic Router 团队已发布 d3-ultra,一款采用 Apache-2.0 许可的 27B 多模态决策模型。d3-ultra 决策模型不生成文本。它读取一次输入,然后为每个问题的每个答案返回概率。对开发者而言,这意味着通过 1 次开放权重调用即可完成路由、分类、视觉定位和视频检查。
TL;DR
- 规模: 26.09B 参数(稠密,包括一个 0.46B 视觉编码器);每个问题 131,072 个 token 的上下文。
- 运行环境: 已在 1 块 AMD Instinct MI325X 上以 BF16 权重完成测试;目前尚未列出官方量化版本。
- 性能: 在团队自己的内部测试中,取得 6 款决策模型中最高的 SR-Text 分数。
- 最佳: 在 SR-Text 工具与自动化方面得分为 97.8(经过机会校正的准确率)。
- 最差: 在 SR-Box(9 个领域)上为 54.6%,比其同门的 d3-turbo 低 5.0 分。
什么是 d3-ultra?
d3-ultra 是 vLLM Semantic Router 推出的一款 System One 决策模型,以概率形式回答输入的问题。它是 Decision 3.0系列的最新成员,该系列涵盖 0.6B 到 27B。
你发送一个状态(文本或 JSON,加上图像或视频)和一组问题。 每个问题都有一种类型:
- Choice: 从若干选项中选出 1 个。
- Yes / No: 返回“是”的概率。
- Score: 按量表评分。
- Box: 在图像或视频片段中定位某物。
- 赛道: "跨整个视频跟踪目标。"}
图片也可以出现在问题和选项中。测验可以先展示一张照片,然后提供4幅蚀刻画作为答案。
d3-ultra 是如何工作的?
其核心思想是 陈述一次. 该模型在每次请求中只读取一次输入,并基于这次单一的读取回答所有问题。
该 config 展示了一个采用Qwen3.5架构的主干网络,共64层。其中48层为线性注意力层,16层为全注意力层。该卡片未指明其基础检查点。vLLM的 食谱 称其姊妹模型 d3 是从 Qwen3.8-27B 训练而来。
Box 回答总是返回恰好 1 个 box 并附带置信度。置信度接近 0 表示目标不在图片中。超过 131,072 个 token 的问题会失败,并返回 max_length_exceeded;任何内容都不会被静默截断。
d3-ultra 在基准测试中的表现如何?
研究团队将d3-ultra与 GLiDE V1.2, d1-ultra、d3-turbo、d3 和 Jev 1.14 在 2 项内部测试中的表现。
SR-Text 包含10,411条文本请求和73,495个问题。大多数题目在34个公开基准的基础上重建技能并加入新条目。另有4,896个问题来自43个新任务族,例如SQL检查和工单路由。分数经过机会校正:0为随机水平,100为满分。
- d3-ultra: 87.2
- GLiDE V1.2: 85.1
- d1-ultra: 83.4
- d3-turbo:83.1
- d3: 81.4
- Jev 1.14: 73.1
d3-ultra 在除艺术与人类品味之外的每个领域都领先。在该领域,d1-ultra 以 90.8 分对 89.6 分领先,处于误差范围内。
SR-Box 在 10 个领域的 4,984 张图像上包含 5,678 个 Box 问题。IoU 达到 0.5 或更高时该框算作正确。d3-ultra 在 10 个领域上得分 58.2%,在 9 个领域上得分 54.6%。d3-turbo 得分为 60.0% 和 59.6%。Jev 1.14 得分为 45.7% 和 46.9%。团队表示 d3-turbo 在自然图像上保持更强,而 d3-ultra 在图表上领先。
延迟: 在 1 块 AMD Instinct MI325X 上使用 AutoModel,1 个关于照片的问题需要 304 ms。255 个问题需要 2.16 s,每个额外问题约 7.3 ms。
如何部署 d3-ultra?
有 4 种途径:
- Transformers:
AutoModel.from_pretrained("vllm-sr/d3-ultra", trust_remote_code=True)配合transformers==5.17.0使用。可选的flash-linear-attention包添加快速 GPU 内核。 - vLLM Semantic Router 引擎:
vllm-sr serve -e vllm-sr/d3-ultra,在 PR #5449 中于 2026 年 10 月 25 日加入。 - 免费 API: 卡片称 decision.vllm-sr.ai 提供 d3-ultra 服务,并配有免费密钥。
- 演示: 官方 Hugging Face Space.
d3-ultra 对比 GLiDE V1.2、d1-ultra、Jev 1.14 和 d3-turbo
| 特性 | d3-ultra | d3-turbo | GLiDE V1.2 | d1-ultra | Jev 1.14 |
|---|---|---|---|---|---|
| 开发者 | vLLM Semantic Router | vLLM Semantic Router | Fastino Labs | Liquid AI | TypeSafe |
| 参数量 | 26.09B | 26.09B | 26B | 未披露 | 未披露 |
| 每个问题的上下文 | 131,072 | 默认 32,768;使用以下时为 131,072 long_context | 默认 40,000 | 32,768 | 262,144 |
| 权重 / 许可证 | 开放,Apache-2.0 | 开放,Apache-2.0 | 开放,Fastino 社区许可 | 仅托管 | 仅托管,专有 |
| 输入 | 文本、JSON、图像、视频 | 文本、JSON、图像、视频 | 文本、JSON、图像 | 文本、图像 | 文本、图像 |
| Box / track | Box + track | Box + track | 否 | 否 | 仅 Box |
| SR-Text(由 vLLM-SR 自行报告) | 87.2 | 83.1 | 85.1 | 83.4 | 73.1 |
| SR-Box,10 个领域 | 58.2% | 60.0% | 不支持 | 不支持 | 45.7% |
| 公开指数得分 | 已提交,尚未上榜 | 70.2 Jev DI(自行估计) | 71.5 Decision Index 0.4.1 | 65 AA Decision Index | 57 AA Decision Index |
| 价格 | 免费 API,自行托管 | 免费 API,自行托管 | $0.04 / M 输入 | $0.042 / M 输入 | $0.042 / M 输入 |
要点
- d3-ultra 是一个 27B 参数的 Apache-2.0 决策模型,从不生成文本。
- 它只读取一次输入:针对 1 张照片的 255 个问题仅需 2.16 秒。
- 它在团队的 SR-Text 测试中以 87.2 登顶,领先于得分 85.1 的 GLiDE V1.2。
- 它在 Box grounding 上落后于 d3-turbo:58.2% 对 60.0%。
- 所有基准数字均是在私有测试集上自报的。
快来看看 模型卡、 GitHub 仓库、 Decision 3.0 系列模型 和 Hugging Face Space。另外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ML SubReddit 并订阅 我们的通讯。等等!你用 telegram 吗? 现在你也可以在 telegram 上加入我们了。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等吗? 联系我们
本文 vLLM Semantic Router 发布 d3-ultra:一个 27B 参数的开源多模态决策模型 首发于 MarkTechPost.