아부다비의 Technology Innovation Institute(TII)가 Falcon-ASR을 공개했습니다. 이는 1.6B 파라미터의 아랍어 음성 인식 모델입니다. 에미라트 방언에 초점을 맞추면서도 영어, 프랑스어, 스페인어, 포르투갈어도 전사합니다. TII의 평가에서 Falcon-ASR은 6개 아랍어 테스트 세트 전반에서 20.92%의 평균 단어 오류율(WER)을 기록했습니다. 이는 TII의 리더보드 스냅샷에서 가장 좋은 공개 기록보다 2.25포인트 앞선 수치입니다. 아랍어 음성 제품을 개발하는 개발자들에게 걸림돌은 접근성입니다. 현재는 호스팅 데모로만 실행할 수 있습니다.
TL;DR
- 크기: 1.6B 파라미터. 최대 오디오 컨텍스트: 미공개(데모는 최대 60초, 20 MB 클립을 받습니다).
- 실행 환경: 미공개. 가중치나 양자화 변형 모델도 공개되지 않았습니다. 접근은 Hugging Face 데모를 통해서이며, API와 네이티브 앱이 계획되어 있습니다.
- 성능: TII 자체 비교에서 아랍어와 에미라트 방언 최저 WER, 영어에서도 견실한 결과.
- 최고: 20.92% 평균 아랍어 WER로, Audar-ASR-V1-Turbo(23.17%)보다 2.25포인트 낮음.
- 최악: Earnings-22에서 11.86% WER로, 가장 약한 영어 테스트 세트.
- 요약(최고): TII의 테스트에서 더 큰 아랍어 시스템들을 앞서는 컴팩트한 1.6B 모델.
- 요약(최악): 가중치, 라이선스, API가 아직 없으며 모든 점수는 자체 보고입니다.
Falcon-ASR이란?
Falcon-ASR은 아랍어와 4개의 다른 언어로 된 음성을 텍스트로 변환하는 TII의 음성-텍스트 모델입니다. 5개 언어 모두 하나의 가중치 세트를 공유합니다. 이 모델은 언어 플래그가 필요 없으며, 말해진 언어로 텍스트를 출력합니다. 또한 각 단어를 오디오 내 위치와 연결하는 단어 수준 타임스탬프도 반환합니다. 이는 자막 생성, 검색 가능한 녹음물, 회의록에 중요합니다.
Falcon-ASR은 아랍어 방언을 어떻게 처리하는가?
방언 아랍어는 현대 표준 아랍어(MSA)보다 전사된 자원이 훨씬 적습니다. TII는 에미라트 방언, MSA, 기타 걸프 및 아랍어 방언, 그리고 영어로 Falcon-ASR을 훈련했습니다. 그 목표는 방언 형태와 언어 전환을 포함한 일상 대화 음성입니다.
훈련 오디오는 배경 소음, 겹치는 발화, 음악, 실내 잔향, 전화 효과로 증강되었습니다. 속도와 음높이도 변형되었습니다. 동일한 처리가 에미라트 방언 녹음에도 적용되었습니다.
이 모델은 TII의 Falcon3-Audio 연구를 기반으로 합니다. 그 연구는 명령 튜닝된 LLM과 Whisper 인코더를 기반으로 하며 30K시간 미만의 공개 오디오로 훈련된 오디오-언어 모델을 다룹니다. Marktechpost의 편집 및 기술팀은 Falcon-ASR의 정확한 아키텍처나 훈련 데이터 크기에 관한 공개 자료를 찾지 못했습니다.
Falcon-ASR은 아랍어 벤치마크에서 어떤 점수를 기록하는가?
TII는 ELM 연구 센터가 운영하는 Open Universal Arabic ASR Leaderboard의 프로토콜을 따랐습니다. 이 리더보드는 6개 테스트 세트에 대한 동일 가중 평균 WER로 시스템의 순위를 매깁니다. TII는 리더보드에 고정된 매니페스트를 사용했습니다. 경쟁 모델 수치는 2026년 9월 30일에 확인한 게시된 리더보드 평균입니다.
| 모델 | 파라미터 | 평균 WER (%) | 평균 CER (%) |
|---|---|---|---|
| Falcon-ASR | 1.6B | 20.92 | 8.79 |
| Audar-ASR-V1-Turbo | 2.35B | 23.17 | 9.23 |
| Cohere Transcribe Arabic (07-2026) | 2.0B | 25.87 | 11.80 |
| omniASR LLM 7B | 7.0B | 28.32 | 12.52 |
낮을수록 좋습니다. Falcon-ASR의 수치는 TII가 직접 측정한 결과이며 리더보드 등재 항목이 아니라는 점에 유의하세요. 이 Audar 모델 카드 에는 자체 평균 CER이 9.20%로 기재되어 있습니다.
Falcon-ASR은 에미리트(Emirati) 음성에서 어떻게 수행되나요?
TII는 사람이 검증한 전사본이 있는 홀드아웃(held-out) 녹음으로 내부 에미리트 및 걸프(Gulf) 테스트 세트를 구축했습니다. 이는 공개된 Casablanca 데이터셋의 UAE 하위 집합을 보완합니다.
| 모델 | 파라미터 | WER (%) | CER (%) |
|---|---|---|---|
| Falcon-ASR | 1.6B | 22.73 | 10.19 |
| Qwen3-Omni-30B-A3B-Instruct | 30B (3B active) | 26.80 | 12.72 |
| Audar-ASR-V1-Turbo | 2.35B | 27.89 | 13.75 |
| Cohere Transcribe Arabic | 2.0B | 31.05 | 18.07 |
| Qwen3-ASR-1.7B | 2.0B | 31.52 | 13.35 |
| Audar-ASR-V1-Flash | 0.78B | 32.87 | 15.36 |
Falcon-ASR은 Qwen3-Omni보다 WER 기준 4.07포인트 앞서고 있습니다. 이 테스트 세트는 비공개이므로 재현할 수 없습니다. Audar는 서로 다른 에미리트 세트(Mixat)에서 19.4% WER을 보고했기 때문에 수치를 직접 비교할 수는 없습니다.
Falcon-ASR은 영어에서 얼마나 좋은가요?
Hugging Face Open ASR Leaderboard에서 사용하는 7개 영어 테스트 세트에서 TII는 5.74%의 평균 WER을 보고했습니다. 세트별 점수는 LibriSpeech clean의 1.75%에서 Earnings-22의 11.86%까지 분포합니다. 참고로, Qwen3-ASR-1.7B 는 해당 리더보드에서 5.76%의 평균 WER을 기록하고 있습니다. 프랑스어, 스페인어, 포르투갈어가 지원되지만 TII는 이들 언어에 대한 점수를 공개하지 않았습니다.
비교: Falcon-ASR vs 가장 근접한 아랍어 ASR 모델
| 기능 | Falcon-ASR | Audar-ASR-V1-Turbo | Cohere Transcribe 아랍어 | Qwen3-ASR-1.7B |
|---|---|---|---|---|
| 기관 | TII (UAE) | AudarAI | Cohere | Alibaba Qwen |
| 파라미터 | 1.6B | 2.35B | 2B | 1.7B (HF 카드 기준 2B) |
| 아키텍처 | Falcon3-Audio 기반 | 오디오 인코더 + LM 디코더 | FastConformer 인코더 + Transformer 디코더 | Qwen3-Omni 기반 |
| 라이선스 | 공개되지 않음 | AudarAI Community License v1.0 | Apache 2.0 | Apache 2.0 |
| 오픈 웨이트 | 아니오 | 예 (BF16, GGUF, W4A16) | 예 | 예 |
| 언어 | 5개 (아랍어(에미라티 포함), EN, FR, ES, PT) | 30개 (아랍어 우선) | 아랍어, 영어 | 30개 언어 + 22개 중국어 방언 |
| 아랍어 평균 WER (6개 세트) | 20.92 (TII 평가) | 23.17 | 25.87 | 33.36 (리더보드) |
| 아랍어 평균 CER | 8.79 (TII 평가) | 9.20 | 11.80 | 12.33 |
| TII 에미라티 WER | 22.73 | 27.89 | 31.05 | 31.52 |
| 영문 평균 WER (Open ASR 세트) | 5.74 (TII 평가) | 공개되지 않음 | 공개되지 않음 | 5.76 |
| 타임스탬프 | 단어 수준 | 공개되지 않음 | 공개되지 않음 | Qwen3-ForcedAligner-0.6B를 통해 |
| 실행 환경 | 공개되지 않음 (호스팅 데모) | CPU, GPU, GGUF를 통한 엣지; 12 GB+ GPU에서 W4A16 | 공개되지 않음 | Transformers 또는 vLLM을 통한 GPU |
| 접근 방식 | HF 데모; API 계획 중 | 가중치 + Audar API | 가중치 + Cohere API | 가중치 + DashScope API |
출처: Falcon-ASR 수치는 TII의 블로그에서 가져왔습니다. Audar, Cohere 및 Qwen 리더보드 수치는 Audar 카드에 재현된 ELM 리더보드에서 가져왔습니다. 모든 모델의 에미라티 WER은 TII의 내부 평가에서 나왔습니다.
핵심 요약
- Falcon-ASR은 에미라티에 중점을 둔 TII의 1.6B 규모 아랍어 우선 음성 모델입니다.
- 평균 아랍어 WER 20.92%를 보고하며, Audar-ASR-V1-Turbo보다 2.25포인트 앞섭니다.
- TII의 에미라티 세트에서 30B Qwen3-Omni를 4.07 WER 포인트 차이로 앞섭니다.
- 1개의 가중치 세트로 5개 언어를 커버하며, 단어 수준 타임스탬프를 제공합니다.
- 아직 가중치, 라이선스, API가 없습니다: 60초 데모를 통해 테스트해 보세요.
다음을 확인해 보세요: Falcon-ASR 블로그, 그리고 Falcon3-Audio 논문 그리고 다음을 시도해 보세요 데모. 또한, 언제든지 저희를 팔로우해 주세요 트위터 그리고 저희의 다음 항목에 참여하는 것도 잊지 마세요 150k+ ML SubReddit 및 구독하기: 우리 뉴스레터. 잠깐만요! 혹시 텔레그램 쓰세요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
해당 게시물 TII, Falcon-ASR 공개: 1.6B 아랍어 음성 모델, 20.92% WER 달성 최초 게재: MarkTechPost.