MarkTechPost

TII发布Falcon-ASR:1.6B阿拉伯语语音模型达到20.92% WER

TII发布1.6B参数的阿拉伯语语音识别模型Falcon-ASR,自评6个测试集平均词错率20.92%,领先榜单最佳成绩2.25个百分点。但权重、许可证和API尚未提供,且全部分数为自报结果。

位于阿布扎比的技术创新研究所(TII)已发布 Falcon-ASR,这是一个1.6B参数的阿拉伯语语音识别模型。它专注于阿联酋方言,同时也能转录英语、法语、西班牙语和葡萄牙语。在TII的评估中,Falcon-ASR在6个阿拉伯语测试集上的平均词错率(WER)为20.92%,比TII排行榜快照中最高的已公布结果高出2.25个点。对于构建阿拉伯语语音产品的开发者来说,问题在于访问方式:目前它只能作为托管演示运行。

TL;DR

  • 规模: 1.6B参数。最大音频上下文:未披露(演示接受最长60秒、20 MB的音频片段)。
  • 运行环境: 未披露。没有发布权重或量化变体。访问方式为Hugging Face演示,API和原生应用已在计划中。
  • 性能: 在TII自己的对比中拥有最低的阿拉伯语和阿联酋方言WER,英语结果也很扎实。
  • 最佳: 20.92%的平均阿拉伯语WER,比Audar-ASR-V1-Turbo(23.17%)低2.25个点。
  • 最差: 在Earnings-22上WER为11.86%,这是其最弱的英语测试集。
  • 结论(最佳): 一个1.6B紧凑模型,在TII的测试中领先于更大的阿拉伯语系统。
  • 结论(最差): 没有权重、没有许可证、还没有API,且所有分数均为自报。

什么是Falcon-ASR?

Falcon-ASR是TII推出的一个语音转文本模型,可将口语阿拉伯语及其他4种语言转换为文本。全部5种语言共享同一套权重。该模型无需语言标志,会以所说的语言输出文本。它还返回 词级时间戳,将每个词与其在音频中的位置关联起来。这对字幕制作、可搜索录音和会议记录非常重要。

Falcon-ASR如何处理阿拉伯语方言?

方言阿拉伯语的转录资源远少于现代标准阿拉伯语(MSA)。TII在阿联酋方言、MSA、其他海湾和阿拉伯方言以及英语上训练了Falcon-ASR。目标是日常口语,包括方言形式和语言切换。

训练音频通过背景噪声、重叠语音、音乐、房间混响和电话效果进行了增强。语速和音高也做了变化。同样的处理也应用于阿联酋方言录音。

该模型建立在TII的 Falcon3-Audio工作之上。该研究描述了基于指令微调LLM和Whisper编码器构建的音频-语言模型,训练数据为不到30K小时的公开音频。Marktechpost的编辑和技术团队未能找到任何已公布的Falcon-ASR确切架构或训练数据规模。

Falcon-ASR在阿拉伯语基准测试中得分如何?

TII遵循了 开放通用阿拉伯语ASR排行榜的协议,该排行榜由ELM研究中心运营。它按6个测试集上等权重平均WER对系统进行排名。TII使用了排行榜固定的清单。竞争对手数字为2026年9月30日核对的已发布排行榜平均值。

模型参数量平均 WER (%)平均 CER (%)
Falcon-ASR1.6B20.928.79
Audar-ASR-V1-Turbo2.35B23.179.23
Cohere Transcribe Arabic (07-2026)2.0B25.8711.80
omniASR LLM 7B7.0B28.3212.52

数值越低越好。注意,Falcon-ASR 的数据是 TII 自己测试得出的,并非排行榜录入。该 Audar 模型卡 列出的自身平均 CER 为 9.20%。

Falcon-ASR 在阿联酋语音上的表现如何?

TII 从留出的录音中构建了一个内部阿联酋和海湾地区测试集,其转录文本经人工校验。它补充了公开 Casablanca 数据集中的阿联酋子集。

模型参数量WER (%)CER (%)
Falcon-ASR1.6B22.7310.19
Qwen3-Omni-30B-A3B-Instruct30B (3B active)26.8012.72
Audar-ASR-V1-Turbo2.35B27.8913.75
Cohere Transcribe Arabic2.0B31.0518.07
Qwen3-ASR-1.7B2.0B31.5213.35
Audar-ASR-V1-Flash0.78B32.8715.36

Falcon-ASR 的 WER 比 Qwen3-Omni 低 4.07 个百分点。该测试集是私有的,因此无法复现。Audar 在另一个阿联酋数据集(Mixat)上报告的 WER 为 19.4%,因此两者数字不可直接比较。

Falcon-ASR 的英语能力如何?

在 Hugging Face Open ASR 排行榜使用的 7 个英语测试集上,TII 报告的平均 WER 为 5.74%。各测试集分数从 LibriSpeech clean 上的 1.75% 到 Earnings-22 上的 11.86% 不等。作为对比, Qwen3-ASR-1.7B 在该排行榜上的平均 WER 为 5.76%。法语、西班牙语和葡萄牙语均受支持,但 TII 未公布这些语言的分数。

对比:Falcon-ASR 与最接近的阿拉伯语 ASR 模型

特性Falcon-ASRAudar-ASR-V1-TurboCohere 推出阿拉伯语转录功能Qwen3-ASR-1.7B
机构TII(阿联酋)AudarAICohereAlibaba Qwen
参数量1.6B2.35B2B1.7B(HF卡上为2B)
架构基于Falcon3-Audio构建音频编码器 + LM解码器FastConformer编码器 + Transformer解码器基于Qwen3-Omni构建
许可证未披露AudarAI Community License v1.0Apache 2.0Apache 2.0
开放权重否是(BF16、GGUF、W4A16)是是
语言5种(阿拉伯语包括阿联酋方言、英语、法语、西班牙语、葡萄牙语)30种(以阿拉伯语为主)阿拉伯语、英语30种语言 + 22种中文方言
阿拉伯语平均WER(6个测试集)20.92(TII评测)23.1725.8733.36 (排行榜)
阿拉伯语平均CER8.79(TII评测)9.2011.8012.33
TII阿联酋方言WER22.7327.8931.0531.52
英语平均 WER(Open ASR 数据集)5.74(TII 评测)未披露未披露5.76
时间戳词级未披露未披露通过 Qwen3-ForcedAligner-0.6B
运行环境未披露(托管演示)CPU、GPU、通过 GGUF 的边缘设备;W4A16 需 12 GB+ GPU未披露通过 Transformers 或 vLLM 的 GPU
获取方式HF 演示;API 计划中权重 + Audar API权重 + Cohere API权重 + DashScope API

来源: Falcon-ASR 数据来自 TII 的博客。Audar、Cohere 和 Qwen 排行榜数据来自 Audar 模型卡上转载的 ELM 排行榜。所有模型的 Emirati WER 均来自 TII 的内部评测。

要点总结

  • Falcon-ASR 是 TII 推出的 1.6B 以阿拉伯语为先的语音模型,专注于 Emirati 方言。
  • 其报告的平均阿拉伯语 WER 为 20.92%,领先 Audar-ASR-V1-Turbo 2.25 个百分点。
  • 在 TII 的 Emirati 数据集上,它比 30B 的 Qwen3-Omni 高出 4.07 个 WER 点。
  • 1 套权重覆盖 5 种语言,并支持词级时间戳。
  • 暂无权重、许可证或 API:请通过 60 秒演示进行测试。


查看 Falcon-ASR 博客以及 Falcon3-Audio 论文 并试用 演示。另外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ML SubReddit 并订阅 我们的新闻通讯。等等!你用 Telegram 吗? 现在你也可以在 Telegram 上加入我们了。

本文 TII 发布 Falcon-ASR:1.6B 阿拉伯语语音模型 WER 达到 20.92% 首发于 MarkTechPost.

原始出处

MarkTechPost

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准