IBM은 Granite Speech 5.0 2B를 출시했습니다. 이는 음성 전사 및 번역을 위한 새로운 개방형 음성-언어 모델입니다. Granite Speech 5.0 2B는 IBM에서 개발한 2B 파라미터 모델로, 6개 언어로 음성을 텍스트로 변환합니다. 이 모델은 Apache 2.0 라이선스 하에 배포됩니다. 또한 IBM은 기존 2개 모델을 업데이트했습니다: 에지 중심의 Turbo CTC 모델과 음성 기록 중심의 4.1 2B Plus 모델입니다. 개발자들을 위해, 이 출시 버전은 정확한 전사, 장치 내 빠른 전사, 발성자에 따른 전사 결과를 제공합니다.
TL;DR
- 크기: 2B 파라미터, 밀도가 높음. LLM 백본은 YaRN 확장을 사용하여 16k 위치를 처리합니다. IBM은 약 2분 길이의 오디오 세그먼트를 권장합니다.
- 실행 가능한 환경: Transformers 또는 vLLM을 통한 GPU, mlx-audio를 통한 Apple Silicon, llama.cpp GGUF를 통한 로컬 CPU/Mac (Q8_0 권장).
- 성능: 오픈 ASR 리더보드에서 2위의 오픈 무게 모델로, 평균 영어 WER는 5.68%입니다.
- 최적: LibriSpeech Clean에서 0.99% WER.
- 최악: 리더보드의 개인 대화 세트에서 13.79%의 WER.
Granite Speech 5.0 2B는 어떻게 작동하나요?
모델 카드에 따르면, 이 모델은 3개의 부분으로 구성됩니다. 16개의 Conformer 블록으로 구성된 음성 인코더는 CTC을 사용하여 훈련되며, 4초 간의 오디오 블록에 대해 블록 어텐션을 사용합니다.
2층 구조의 윈도우 q-формер이 음향 임베딩을 프로젝트하고 다운샘플링합니다. 총 다운샘플링 비율은 10배이므로 LLM은 10Hz 수준의 임베딩을 인식합니다.
LLM은 granite-4.0-1b-base의 중간 점검점입니다. IBM은 YaRN을 사용하여 16k 위치까지 확장하고 LoRA 어댑터를 통해 fine-tuning을 진행했습니다.
훈련에는 390,000시간의 공개 오디오와 합성 데이터가 사용되었습니다. 합성 데이터는 일본어 ASR, 키워드 편향 및 번역을 목표로 합니다. 8대의 H100 GPU를 사용하여 40일이 걸려 훈련이 이루어졌습니다.
Granite Speech 4.1 2B와 비교하여 새로운 점은 무엇인가요?
- 언어 ID 프롬프트: 전사 과정을 조절하기 위해 프롬프트에서 입력 언어를 명명하세요.
- 2,000개까지의 키워드 목록: 제품명, 사람, 약어에 대한 편향된 출력.
- 요청 시 구두점 및 대문자 처리: F1의 대문자 처리는 테스트 세트 전체에서 90.16부터 99.51까지 이루어집니다.
- 신뢰성: 노이즈, 리버베레이션 및 멀리 있는 마이크의 처리가 더 우수합니다.
Granite Speech 5.0 2B는 벤치마크에서 어떻게 작동하나요?
Open ASR 리더보드에서 IBM의 차트는 평균 영어 WER가 5.68%라고 나타납니다. 이 평균은 2026년 10월 21일 기준으로 9개의 공공 테스트 세트와 2개의 개인 테스트 세트를 포함합니다. Qwen3-ASR-1.7B는 5.40%의 점수로 더 우수합니다.
출처 충돌이 있습니다. IBM의 블로그는 5.06%라고 보고합니다. 이 수치는 비공식적이며 10월 15일에 작성된 것이고, 공개된 단편 세트들의 평균값만을 나타냅니다.
각 세트의 결과는 크게 다양합니다. 모델은 LibriSpeech Clean 세트에서 0.99%, LibriSpeech Other 세트에서 2.21%의 점수를 얻었습니다. 개인적인 대화 세트에서는 13.79%의 점수를 받았습니다.
소음이 많은 FFASR 리더보드에서, 42개 중 4위를 차지하며 평균 WER는 14.80%입니다. Qwen3-ASR-1.7B의 점수는 13.41%입니다.
다국어 공통음 WER은 포르투갈어에 대해 2.60%, 스페인어에 대해 3.50%입니다. 일본어는 10.74%로 가장 약한 언어입니다.
번역 결과에 따르면, X-to-English CoVoST BLEU는 포르투갈어에서 53.6, 독일어에서 40.1에 도달했습니다. 영어-마드칸트 번역은 평가되지 않았습니다.
키워드 편향이 가장 큰 이익을 보여줍니다. Earnings-22에서는 올바른 키워드 목록이 적용된 경우 F1 키워드는 67.2에서 90.1로 상승합니다. 올바르고 잘못된 용어가 섞인 2,000개 항목의 목록에서도 여전히 82.8에 도달합니다.
이는 다른 개방형 ASR 모델들과 어떻게 비교되나요?
| 특징 | Granite Speech 5.0 2B | Qwen3-ASR-1.7B | Cohere Transcribe 03-2026 | Canary-Qwen-2.5B |
|---|---|---|---|---|
| 크기 | 2B | 2.35B (허브 수) | 2.07B (허브 수) | 2.5B |
| 라이선스 | Apache 2.0 | Apache 2.0 | Apache 2.0 (게이티드) | CC-BY-4.0 |
| ASR 언어들 | 6 | 30 + 22 중국 방언 | 14 | 영어로만 작성 |
| 음성 번역 | 네 | 공개되지 않았습니다 | 공개되지 않았습니다 | 아니요 |
| Open ASR avg WER (Oct 21, 2026)* | 5.68% | 5.40% | 5.77% | 5.94% |
| FFASR 평균 WER (2026년 10월 18일)* | 14.80% | 13.41% | 15.03% | 공개되지 않았습니다 |
| 키워드 편향 | 최대 2,000개의 단어 | 공개되지 않았습니다 | 공개되지 않았습니다 | 공개되지 않았습니다 |
| 긴 오디오 | ~2분 구간 | 긴 오디오도 지원됩니다 | 공개되지 않았습니다 | 훈련 중 최대 40초 |
*Open ASR 및 FFASR 리더보드에서 표시된 IBM의 모델 카드에 기재된 레이아웃 평균치입니다.
Turbo CTC와 4.1 2B Plus에서 무엇이 변경되었나요?
Granite Speech 5.0 Turbo CTC는 470M의 섀도우를 유지합니다. 이제는 7개의 언어에 대한 원어 기호와 대문자 처리도 지원합니다. IBM은 하나의 Conformer 블록을 컴파일하여 스택 전체에서 그 그래프를 재사용했습니다. 그 결과 처리 속도가 19,870 RTFx로 증가했으며, 출시 당시의 약 12,600 RTFx에서 상승했습니다.
업데이트된 Granite Speech 4.1 2B Plus는 기존 모델을 그대로 사용하는 무게 업데이트입니다. 평균 타임스탬프의 변화는 210.86에서 98.54로 감소합니다. 긴 형태의 WER은 13.53에서 10.22로 감소합니다. 편향된 키워드 WER은 11.79에서 6.48으로 감소합니다.
개발자들은 어떻게 이를 배포할 수 있을까?
Granite Speech 5.0 2B는 Transformers, vLLM, llama.cpp 및 mlx-audio에서 실행됩니다. GGUF 파일의 경우 IBM은 Q8_0을 권장합니다. 1분 이상 긴 오디오 데이터에 대해서는 낮은 비트량 quantization이 정확도를 잃게 됩니다.
주요 요약
- #2 open-weight 모델은 Open ASR 리더보드에서 5.68% WER를 기록했습니다.
- 2B 매개변수, Apache 2.0, GPU, Mac 및 로컬 CPU에서 실행됩니다.
- 2,000개의 단어로 구성된 키워드 편향이 모든 지원되는 언어에서 적용됩니다.
- 터보 CTC는 19,870 RTFx에 도달했으며, 이제 7개의 언어를 지원합니다.
- Qwen3-ASR-1.7B는 정확성과 잡음이 있는 오디오 처리에서 여전히 선두를 달리고 있습니다.
보세요 모델 카드, IBM 블로그 그리고 그라나이트 스피치 문서. 모든 공로는 이 프로젝트의 연구원에게 돌아갑니다. 또한, 저희를 팔로우하셔도 괜찮습니다. 트위터 그리고 우리와 함께하는 것을 잊지 마세요 150k+메가바이트 SubReddit 및 구독하기 우리의 뉴스레터. 잠깐! 당신은 텔레그램에 있나요? 이제 텔레그램에도 우리와 함께할 수 있습니다.
GitHub 리포트, Hugging Face 페이지, 제품 출시, 웹세미나 등을 홍보하기 위해 저희와 협력하고 싶으신가요? 저희와 연락하세요
IBM AI는 다국어 음성 전사 및 번역을 위한 Granite Speech 5.0 2B를 출시했습니다라는 글이 MarkTechPost에 처음 게재되었습니다.