IBM 已发布 Granite Speech 5.0 2B，这是一个用于转录和翻译的新型开放语音-语言模型。Granite Speech 5.0 2B 是 IBM 推出的一个 2B 参数模型，可将6种语言的语音转换为文本。它以 Apache 2.0 许可发布。IBM 还 更新了2个现有模型：面向边缘设备的 Turbo CTC 和面向说话人分离的 4.1 2B Plus。对开发者而言，此次发布涵盖了精准转录、快速的设备端转录以及带说话人归属的转录文本。
TL;DR
- 规模： 2B 参数，稠密架构。LLM 主干使用 YaRN 扩展至 16k 位置。IBM 建议音频片段不超过约2分钟。
- 运行环境： 通过 Transformers 或 vLLM 在 GPU 上运行，通过 mlx-audio 在 Apple Silicon 上运行，通过 llama.cpp GGUF 在本地 CPU/Mac 上运行（推荐 Q8_0）。
- 性能： 在 Open ASR Leaderboard 上排名第2的开源权重模型，平均英语 WER 为5.68%。
- 最佳： 在 LibriSpeech Clean 上 WER 为0.99%。
- 最差： 在排行榜的私有对话数据集上 WER 为13.79%。
Granite Speech 5.0 2B 是如何工作的？
该模型有3个部分，依据是 模型卡，该模型由3部分组成。一个包含16个 Conformer 块的语音编码器使用 CTC 进行训练。它对4秒的音频块使用块注意力。
一个2层的 window q-former 随后对声学嵌入进行投影和下采样。总下采样倍率为10倍，因此 LLM 以10 Hz 的频率接收嵌入。
LLM 是 granite-4.0-1b-base的一个中间检查点。IBM 使用 YaRN 将其扩展至 16k 位置，并用 LoRA 适配器进行了微调。
训练使用了390,000小时的公开音频以及合成数据。合成数据集针对日语 ASR、关键词偏置和翻译。训练在8块 H100 GPU 上耗时40天。
与 Granite Speech 4.1 2B 相比有什么新变化？
- 语言 ID 提示： 在提示中指明输入语言以引导转录。
- 最多2,000个关键词列表： 将输出偏向产品名称、人名和首字母缩略词。
- 按需提供标点符号和大小写： 在各个测试集上，大小写 F1 从 90.16 到 99.51。
- 稳健性： 更好地处理噪声、混响和远场麦克风。
Granite Speech 5.0 2B 在基准测试中表现如何？
在 Open ASR Leaderboard上，IBM 的图表显示平均英语 WER 为 5.68%。截至 2026 年 10 月 21 日，该平均值涵盖 9 个公开测试集和 2 个私有测试集。只有 Qwen3-ASR-1.7B 得分更高，为 5.40%。
注意一个来源冲突。IBM 的 博客 报告的是 5.06%。该数字是非官方的，日期为 10 月 15 日，且仅对公开的短音频测试集取平均值。
各测试集的结果差异很大。该模型在 LibriSpeech Clean 上得分为 0.99%，在 LibriSpeech Other 上为 2.21%。在私有对话测试集上得分为 13.79%。
在嘈杂的 FFASR leaderboard上，它在 42 个模型中排名第 4，平均 WER 为 14.80%。Qwen3-ASR-1.7B 在该榜单上得分为 13.41%。
多语言 CommonVoice WER 方面，葡萄牙语为 2.60%，西班牙语为 3.50%。日语是最弱的语言，为 10.74%。
在翻译方面，X-to-English CoVoST BLEU 葡萄牙语达到 53.6，德语达到 40.1。英语到普通话未经评估。
关键词偏向带来了最明显的提升。在 Earnings-22 上，使用正确的关键词列表时，关键词 F1 从 67.2 升至 90.1。即使使用混合正确和错误术语的 2,000 个词的列表，仍达到 82.8。
它与其他开放 ASR 模型相比如何？
| 特性 | Granite Speech 5.0 2B | Qwen3-ASR-1.7B | Cohere Transcribe 03-2026 | Canary-Qwen-2.5B |
|---|---|---|---|---|
| 大小 | 2B | 2.35B（Hub 计数） | 2.07B（Hub 计数） | 2.5B |
| 许可证 | Apache 2.0 | Apache 2.0 | Apache 2.0（受限） | CC-BY-4.0 |
| ASR 语言 | 6 | 30 种 + 22 种中文方言 | 14 | 仅英语 |
| 语音翻译 | 支持 | 未披露 | 未披露 | 不支持 |
| Open ASR 平均 WER（2026年10月21日）* | 5.68% | 5.40% | 5.77% | 5.94% |
| FFASR 平均 WER（2026年10月18日）* | 14.80% | 13.41% | 15.03% | 未披露 |
| 关键词偏置 | 最多 2,000 个词条 | 未披露 | 未披露 | 未披露 |
| 长音频 | 约 2 分钟分段 | 支持长音频 | 未披露 | 训练中最多 40 秒 |
*排行榜平均值如图表所示,数据来自 IBM 的 模型卡 来自 Open ASR 和 FFASR 排行榜。
Turbo CTC 和 4.1 2B Plus 有哪些变化？
Granite Speech 5.0 Turbo CTC 保留了其 470M 的模型体量。它现在可以转录 7 种语言,并带有原生标点符号和大小写。IBM 编译了一个 Conformer 块,并在整个技术栈中复用其计算图。这将吞吐量提升到了 19,870 RTFx,相比发布时的大约 12,600 有所提高。
更新后的 Granite Speech 4.1 2B Plus 是一次即插即用的权重更新。平均时间戳偏移从210.86降至98.54。长文本WER从13.53降至10.22。带偏关键词WER从11.79降至6.48。
开发者如何部署它?
Granite Speech 5.0 2B 运行于 Transformers, vLLM、llama.cpp和mlx-audio。对于GGUF,IBM建议使用Q8_0。对于超过约1分钟的音频,较低位数的量化会损失准确性。
要点速览
- Open ASR 排行榜上排名第 2 的开放权重模型，WER 为 5.68%。
- 2B 参数，Apache 2.0 许可，可在 GPU、Mac 和本地 CPU 上运行。
- 支持所有受支持语言的 2,000 词关键词偏置。
- Turbo CTC 达到 19,870 RTFx，现覆盖 7 种语言。
- Qwen3-ASR-1.7B 在准确率和嘈杂音频方面仍居领先地位。
欢迎查看 模型卡, IBM 博客 和 Granite Speech 论文。所有功劳归于该项目的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ML SubReddit 并订阅 我们的 Newsletter。等等！你在用 Telegram 吗？ 现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等吗？ 与我们联系
这篇文章 IBM AI 发布用于多语言转录和翻译的 Granite Speech 5.0 2B 首发于 MarkTechPost.