位于阿布扎比的技术创新研究所(TII)已发布 Falcon-ASR,这是一个1.6B参数的阿拉伯语语音识别模型。它专注于阿联酋方言,同时也能转录英语、法语、西班牙语和葡萄牙语。在TII的评估中,Falcon-ASR在6个阿拉伯语测试集上的平均词错率(WER)为20.92%,比TII排行榜快照中最高的已公布结果高出2.25个点。对于构建阿拉伯语语音产品的开发者来说,问题在于访问方式:目前它只能作为托管演示运行。
TL;DR
- 规模: 1.6B参数。最大音频上下文:未披露(演示接受最长60秒、20 MB的音频片段)。
- 运行环境: 未披露。没有发布权重或量化变体。访问方式为Hugging Face演示,API和原生应用已在计划中。
- 性能: 在TII自己的对比中拥有最低的阿拉伯语和阿联酋方言WER,英语结果也很扎实。
- 最佳: 20.92%的平均阿拉伯语WER,比Audar-ASR-V1-Turbo(23.17%)低2.25个点。
- 最差: 在Earnings-22上WER为11.86%,这是其最弱的英语测试集。
- 结论(最佳): 一个1.6B紧凑模型,在TII的测试中领先于更大的阿拉伯语系统。
- 结论(最差): 没有权重、没有许可证、还没有API,且所有分数均为自报。
什么是Falcon-ASR?
Falcon-ASR是TII推出的一个语音转文本模型,可将口语阿拉伯语及其他4种语言转换为文本。全部5种语言共享同一套权重。该模型无需语言标志,会以所说的语言输出文本。它还返回 词级时间戳,将每个词与其在音频中的位置关联起来。这对字幕制作、可搜索录音和会议记录非常重要。
Falcon-ASR如何处理阿拉伯语方言?
方言阿拉伯语的转录资源远少于现代标准阿拉伯语(MSA)。TII在阿联酋方言、MSA、其他海湾和阿拉伯方言以及英语上训练了Falcon-ASR。目标是日常口语,包括方言形式和语言切换。
训练音频通过背景噪声、重叠语音、音乐、房间混响和电话效果进行了增强。语速和音高也做了变化。同样的处理也应用于阿联酋方言录音。
该模型建立在TII的 Falcon3-Audio工作之上。该研究描述了基于指令微调LLM和Whisper编码器构建的音频-语言模型,训练数据为不到30K小时的公开音频。Marktechpost的编辑和技术团队未能找到任何已公布的Falcon-ASR确切架构或训练数据规模。
Falcon-ASR在阿拉伯语基准测试中得分如何?
TII遵循了 开放通用阿拉伯语ASR排行榜的协议,该排行榜由ELM研究中心运营。它按6个测试集上等权重平均WER对系统进行排名。TII使用了排行榜固定的清单。竞争对手数字为2026年9月30日核对的已发布排行榜平均值。
| 模型 | 参数量 | 平均 WER (%) | 平均 CER (%) |
|---|---|---|---|
| Falcon-ASR | 1.6B | 20.92 | 8.79 |
| Audar-ASR-V1-Turbo | 2.35B | 23.17 | 9.23 |
| Cohere Transcribe Arabic (07-2026) | 2.0B | 25.87 | 11.80 |
| omniASR LLM 7B | 7.0B | 28.32 | 12.52 |
数值越低越好。注意,Falcon-ASR 的数据是 TII 自己测试得出的,并非排行榜录入。该 Audar 模型卡 列出的自身平均 CER 为 9.20%。
Falcon-ASR 在阿联酋语音上的表现如何?
TII 从留出的录音中构建了一个内部阿联酋和海湾地区测试集,其转录文本经人工校验。它补充了公开 Casablanca 数据集中的阿联酋子集。
| 模型 | 参数量 | WER (%) | CER (%) |
|---|---|---|---|
| Falcon-ASR | 1.6B | 22.73 | 10.19 |
| Qwen3-Omni-30B-A3B-Instruct | 30B (3B active) | 26.80 | 12.72 |
| Audar-ASR-V1-Turbo | 2.35B | 27.89 | 13.75 |
| Cohere Transcribe Arabic | 2.0B | 31.05 | 18.07 |
| Qwen3-ASR-1.7B | 2.0B | 31.52 | 13.35 |
| Audar-ASR-V1-Flash | 0.78B | 32.87 | 15.36 |
Falcon-ASR 的 WER 比 Qwen3-Omni 低 4.07 个百分点。该测试集是私有的,因此无法复现。Audar 在另一个阿联酋数据集(Mixat)上报告的 WER 为 19.4%,因此两者数字不可直接比较。
Falcon-ASR 的英语能力如何?
在 Hugging Face Open ASR 排行榜使用的 7 个英语测试集上,TII 报告的平均 WER 为 5.74%。各测试集分数从 LibriSpeech clean 上的 1.75% 到 Earnings-22 上的 11.86% 不等。作为对比, Qwen3-ASR-1.7B 在该排行榜上的平均 WER 为 5.76%。法语、西班牙语和葡萄牙语均受支持,但 TII 未公布这些语言的分数。
对比:Falcon-ASR 与最接近的阿拉伯语 ASR 模型
| 特性 | Falcon-ASR | Audar-ASR-V1-Turbo | Cohere 推出阿拉伯语转录功能 | Qwen3-ASR-1.7B |
|---|---|---|---|---|
| 机构 | TII(阿联酋) | AudarAI | Cohere | Alibaba Qwen |
| 参数量 | 1.6B | 2.35B | 2B | 1.7B(HF卡上为2B) |
| 架构 | 基于Falcon3-Audio构建 | 音频编码器 + LM解码器 | FastConformer编码器 + Transformer解码器 | 基于Qwen3-Omni构建 |
| 许可证 | 未披露 | AudarAI Community License v1.0 | Apache 2.0 | Apache 2.0 |
| 开放权重 | 否 | 是(BF16、GGUF、W4A16) | 是 | 是 |
| 语言 | 5种(阿拉伯语包括阿联酋方言、英语、法语、西班牙语、葡萄牙语) | 30种(以阿拉伯语为主) | 阿拉伯语、英语 | 30种语言 + 22种中文方言 |
| 阿拉伯语平均WER(6个测试集) | 20.92(TII评测) | 23.17 | 25.87 | 33.36 (排行榜) |
| 阿拉伯语平均CER | 8.79(TII评测) | 9.20 | 11.80 | 12.33 |
| TII阿联酋方言WER | 22.73 | 27.89 | 31.05 | 31.52 |
| 英语平均 WER(Open ASR 数据集) | 5.74(TII 评测) | 未披露 | 未披露 | 5.76 |
| 时间戳 | 词级 | 未披露 | 未披露 | 通过 Qwen3-ForcedAligner-0.6B |
| 运行环境 | 未披露(托管演示) | CPU、GPU、通过 GGUF 的边缘设备;W4A16 需 12 GB+ GPU | 未披露 | 通过 Transformers 或 vLLM 的 GPU |
| 获取方式 | HF 演示;API 计划中 | 权重 + Audar API | 权重 + Cohere API | 权重 + DashScope API |
来源: Falcon-ASR 数据来自 TII 的博客。Audar、Cohere 和 Qwen 排行榜数据来自 Audar 模型卡上转载的 ELM 排行榜。所有模型的 Emirati WER 均来自 TII 的内部评测。
要点总结
- Falcon-ASR 是 TII 推出的 1.6B 以阿拉伯语为先的语音模型,专注于 Emirati 方言。
- 其报告的平均阿拉伯语 WER 为 20.92%,领先 Audar-ASR-V1-Turbo 2.25 个百分点。
- 在 TII 的 Emirati 数据集上,它比 30B 的 Qwen3-Omni 高出 4.07 个 WER 点。
- 1 套权重覆盖 5 种语言,并支持词级时间戳。
- 暂无权重、许可证或 API:请通过 60 秒演示进行测试。
查看 Falcon-ASR 博客以及 Falcon3-Audio 论文 并试用 演示。另外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ML SubReddit 并订阅 我们的新闻通讯。等等!你用 Telegram 吗? 现在你也可以在 Telegram 上加入我们了。
本文 TII 发布 Falcon-ASR:1.6B 阿拉伯语语音模型 WER 达到 20.92% 首发于 MarkTechPost.