IT之家 10월 26일 소식, 퍙訊 훈위안 동시통역 대규모 모델 Hy-SimulMT가 오늘 공개 및 오픈소스화되었으며, 낮은 지연 시간과 높은 정확도라는 특징을 갖추고 중국어-영어 간 음성 대 음성 실시간 번역을 지원한다 — 화자의 오디오를 Hy-SimulMT 모델에 실시간으로 입력하면 모델이 들으면서 번역하여 번역문과 음성을 실시간으로 제공하고, 실시간 음색 클론을 지원해 화자의 목소리와 억양을 높은 수준으로 재현할 수 있다. 해당 모델은 텐센트 Hy 번역 앱에서 최초 공개되며,무료로 서비스 체험을 제공한다.。
IT之家는 공식 소개를 통해 낮은 지연 시간이 이 모델의 큰 강점임을 알게 되었는데, 훈위안 동시통역 대규모 모델 Hy-SimulMT의 응답 시간은실측 약 3초이며,인간 전문 통역사의 평균은 4-5초이다. 평가 결과에 따르면 이 모델의 번역 효과는 시중 주요 오픈소스 동시통역 모델을 넘어섰고, 상용 동시통역 API 대부분마저 능가했다.
공식 측은 업계에서 널리 쓰이는 장기 오디오 오픈소스 평가 세트 RealSI에서 Hy-SimulMT가 우수한 동시통역 효과를 보였다고 밝혔다. 아래 그림 참조:
가로축의 StreamLAAL은 동시통역의 지연 지표로, 모델이 번역 결과를 출력하는 시점이 입력 오디오보다 늦는 초 수를 반영하며, 낮을수록 좋다. 세로축은 번역 품질을 나타내며 GPT6.1-Sol로 점수를 매기고, 높을수록 좋다. Hy-SimulMT는 지연이 가장 낮은 상태에서 오픈소스 모델 중 최고의 성능을 달성했고, 대부분의 상용 API마저 능가했다.
단기 오디오 테스트 세트에서도 Hy-SimulMT는 우수한 성과를 보였다. 아래 그림 참조:
Hy-SimulMT의 실력을 더 정확히 평가하기 위해 해당 팀은 규정 준수 범위 내에서 인터넷에 새로 올라온 중국어 및 영어 오디오를 폭넓게 수집했으며, 소프트웨어 AI, 의학, 제조·에너지, 자연과학, 농업·식품, 비즈니스·경영, 법률, 교육, 문화·관광, 스포츠·생활 등 총 10개 분야를 포함하고,연설, 인터뷰, 회의 등 여러 시나리오를 아우른다.。
이 데이터에서 해당 팀은 Hy-SimulMT의 성능을 테스트했을 뿐만 아니라 여러 인간 동시통역 전문가에게 이 오디오들의 동시통역을 의뢰했다.
인간 동시통역 전문가는 총 6명으로, 그중 3명은 CATTI 1급 구어 통역 자격증을, 3명은 CATTI 2급 구어 통역 자격증을 보유하고 있으며, 모든 전문가는 다년간의 동시통역 실무 경험을 갖추고 있다. 평가에서는 Hy-SimulMT와 인간 동시통역 전문가의 번역 내용을 지연과 번역 품질 면에서 비교했으며, 인간 동시통역 전문가는 3인 중 최고 점수를 기준으로 삼았다. 이번 능력 평가에서,Hy-SimulMT는 번역 품질이 인간 동시통역 전문가 수준에 도달했고(점수가 더 높음), 속도는 더 빠르며(지연이 더 낮음).。
참고: