IT之家 10월 29일 소식, 엔비디아는 어제(10월 28일) 오픈 웨이트 음성 전사 모델 Nemotron 3.5 Transcribe를 발표하고, 동시에 훈련 데이터 파이프라인 Granary v2도 공개했다.
Nemotron 3.5 Transcribe 모델은전사, 화자 귀속, 번역 및 음성 질의응답을 통합하며, 주로 회의록, 수업 녹화, 인터뷰 정리 및 다국어 고객 서비스 등의 시나리오를 겨냥한다.
아키텍처 측면에서 Nemotron 3.5 Transcribe는 혼합 전문가(MoE) 아키텍처를 채택했으며, 총 파라미터는 약 340억, 활성화 파라미터는 약 43억이다. 최대 1시간 녹음을 처리할 수 있고, 40개 언어의 전사를 지원하며, 그중 31개 언어는 영어와 상호 번역이 가능하다. 화자 식별 측면에서는 최대 8명의 화자를 구분할 수 있고, 13개 언어의 화자 표기를 지원한다.
이 모델의 최대 강점은 '여러 명이 동시에 말하기'에 대응하는 능력이다. 모델은 텍스트를 생성하는 동시에 각 발언에 화자를 표기할 수 있다. 공식 데모에서 1940년 영화 'His Girl Friday'처럼 말속도가 매우 빠르고 대화가 많이 겹치는 장면에서도 역할별로 자막을 생성했다.
공개 평가에서 이 모델은 Hugging Face Open ASR Leaderboard 영어 부문에서 5.33%의 평균 단어 오류율로 오픈 웨이트 모델 1위를 차지했다.
Artificial Analysis의 비스트리밍 단어 오류율 지수에서는 2.8%의 성적으로 Voxtral Small Transcribe와 함께 오픈소스 모델 공동 1위를 기록했다. 화자 귀속 측면에서는 David AI의 21개 언어 화자 분리 벤치마크에서 18.26%의 최저 오류율을 기록했다. IT之家가 관련 이미지를 아래에 첨부한다:
모델은 이미 Hugging Face와 ModelScope에서 무료로 공개되었으며, OpenMDW-1.1 라이선스를 채택했다. 양자화 버전은 추후 출시될 예정이며, RTX Spark, DGX Spark, Jetson AGX Thor 등 로컬 기기에서 실행하기에 용이하다.
Granary v2는 NVIDIA가 다국어 음성 모델(예: Nemotron 3.5 Transcribe)을 위해 구축한 개방형, 재사용 가능한 훈련 데이터 정리 파이프라인 및 데이터셋이다.
원본 또는 기존에 레이블된 오디오를 다양한 전사 형식, 번역, 자막, 질의응답 및 지시문 쌍으로 자동 가공하여 ASR, 음성 번역 및 음성 지시문 파인튜닝에 사용할 수 있게 한다.
공개된 Granary v2 데이터 목록은 463,062시간의 오디오, 48개 언어, 16개의 원본 코퍼스를 포괄하며, Granary v1의 25개 언어에 비해 크게 확장되었다.
동일한 녹음에 대해 Granary v2는 모델이 프롬프트로 요구할 수 있는 서로 다른 문면 스타일에 대응하는 최소 세 가지 전사 변형을 생성한다:
텍스트 정규화 축자본(tn_raw): '어', '음' 등의 비유창성 표현은 유지하되, 숫자 등 텍스트 형식은 정규화한다. 예: 'I paid, uh, twenty-five euros.'
역텍스트 정규화, 비유창성 표현 포함(itn_raw): 구어체 숫자를 문어 기호로 복원한다. 예: 'I paid, uh, €25.'
역텍스트 정규화, 비유창성 표현 제거(itn_clean): 깨끗하고 읽기 쉬운 텍스트를 출력한다. 예: 'I paid €25.'