于去年春天推出的 Granite Switch 项目为模型开发提供了一种模块化方法。现在， Granite Switch 4.1 模型配备了一个 Decision 适配器以及 OpenASR 排行榜上最快的 ASR 模型，可以在自然语言回复、通用与专业决策以及语音转文本任务之间高效切换——全部通过一个托管端点完成。
具体来说， Granite-Switch-4.1-8B 和 -30B 模型的配置包括：
- 一个新的 Decision aLoRA ，用于通用决策（例如 v1/systemone），
- 一个专用的 Guardian aLoRA ，在安全相关决策任务上的平均表现优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash，以及
- Granite-Speech-5.0-Turbo-CTC，即 OpenASR Leaderboard上最快的 ASR 模型，已内嵌用于转录任务。
这三项技术（连同底层基础模型）被组合成一个模型，其在 GPU 上占用的 VRAM 与基础模型单独占用的量大致相同。这意味着用更少的 GPU 获得更多的能力。
而且由于 Switch 适配器是作为缓存高效的 Activated LoRAs构建的，基础模型生成时创建的 KV 缓存可以复用于任何后续基于适配器的决策。结合我们团队为加速低秩适配器推理所做的 近期 vLLM 贡献 ，以及同置部署的 ASR 编码器，Granite Switch 4.1 模型可以在聊天请求、决策请求和语音请求之间以极快的速度进行 切换 在聊天请求、决策请求和语音请求之间切换，并拥有极快的速度。
欢迎查看我们的 Speech-to-Decisions HF space 其中 granite-switch-4.1-8b 转录音频、生成摘要、筛查有害内容，并测试 15 个其他用户自定义标志——全部在单个端点上实时运行。
Granite 库：开创性的决策模型
决策模型并非新鲜事物。我们之前发布的 Granite 库 包含一个由专用“决策模型”适配器及其他专用任务适配器组成的仓库，这些适配器可以组合成自定义的 Granite Switch 模型。虽然 Jev 和其他封闭决策模型侧重于通用性，但我们发现，许多 granitelib 专用适配器在专门的分类任务上可以胜过通用模型。
将 granitelib 适配器 与通用决策模型在专门分类任务上进行对比评估。
由于适配器共享基础模型的 KV 缓存，在通用决策适配器旁边添加专用适配器几乎没有任何成本。你可以从通用模型获得广泛覆盖，并从专用适配器在你关心的任务上获得更高准确率。
在 Granite-Switch-4.1-30B（冻结的基础 Granite + 4 个专用 aLoRA）与 Jev-27B（冻结的基础 Qwen 模型 + 1 个通用决策 LoRA）之间的“竞赛”中，Granite-Switch-4.1-30B 能够比其竞争对手更快地完成一个真实世界的 5 步 RAG 工作流。
组合并扩展你自己的 Granite Switch 模型
Granite-Switch-4.1-8B 和 -30B 以“开箱即用”的方式发布。它们是我们用一组预定义的实用适配器编译而成的 Granite Switch 模型。但你不必使用我们的版本。任何人都可以 组合自己的 Granite Switch 模型，从 Granite 库中混合搭配适配器，以最好地满足自己的需求。
展望未来，我们看到社区在用自定义和第三方适配器组合并扩展 Granite Switch 模型方面存在巨大机遇。我们计划发布一个用于在 Mellea中训练适配器的 Adapter SDK，并附带其他教程和 Granite Switch 支持。这些适配器可以是用于增强基于决策的工作流的专用分类适配器，也可以是用于专门语言任务的适配器。你甚至可以使用自定义适配器教 3B 参数版本的 Granite 玩经典游戏 Doom。
与Jev类似，我们自定义的3B参数Granite Switch模型也能在瞬间做出决策来操控Doom游戏，但它的决策速度达到 每秒60 - 100次决策， 而Jev报告的速度为每秒10次决策。1 与Jev不同的是，这款Granite Switch模型还能在游玩的同时进行解说并回答你的问题。 我们期待在未来几周内发布关于Granite Switch的更多细节和数据，但在此之前，我们鼓励你试用我们最新的Switch模型以及其他这些有助于入门的资源。
我们期待在未来几周内发布关于 Granite Switch 的更多细节和数据，在此之前，我们鼓励您试用我们最新的 Switch 模型以及这些其他有助于入门的资源。Granite Switch 4.1将提供8b和30b两种规格，可以适配你工作负载运行的任何环境。该模型可通过一个插件在vllm中运行（见下方Granite Switch仓库），并在
Granite Switch 4.1 提供 8b 和 30b 两种规格，可以适配您的任何工作负载运行环境。该模型通过一个插件在 vllm 中运行（参见下方的 Granite Switch 代码库），并在其中原生支持 llama.cpp API调用的任何地方无缝替换它们，同时还能处理传统的聊天调用，所有这些都共享一个前缀缓存。 /v1/systemone API 调用（无论这些调用在何处使用），同时还能处理传统的聊天调用，所有这些都共享同一个前缀缓存。
Granite Switch 4.1模型卡
- Granite Switch 4.1 模型卡
- Granite Switch GitHub仓库
- Granite Switch与Granite库首发博客
- 在
- Colab 上创建你自己的aLoRA与LoRA竞赛.
脚注
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev