AIbase出典公開日

腾讯混元、同時通訳大規模モデル Hy-SimulMT をオープンソース公開:遅延は人間の通訳者を下回り、品質はプロ通訳に匹敵

10月26日、腾讯混元の同時通訳大規模モデル Hy-SimulMT が発表・オープンソース公開された。中国語と英語の音声から音声へのリアルタイム翻訳に対応し、話者の音声をモデルにリアルタイムで入力でき、聞きながら翻訳して訳文と音声を同時に出力し、リアルタイムの音色クローンに対応して話者の声とトーンを再現する。

10月26日、腾讯混元の同時通訳大規模モデル Hy-SimulMT が発表・オープンソース公開された。中国語と英語の音声から音声へのリアルタイム翻訳に対応し、話者の音声をモデルにリアルタイムで入力でき、聞きながら翻訳して訳文と音声を同時に出力し、リアルタイムの音色クローンに対応して話者の声とトーンを再現する。モデルはすでに腾讯 Hy 翻訳 App で無料体験として先行公開されており、オープンソースリポジトリも HuggingFace、ModelScope、GitHub に同時公開された。

低遅延はこのモデルの中核指標であり、実測の応答は約3秒で、人間のプロ通訳者の平均4〜5秒を下回る。ソフトウェア AI、医学、製造エネルギー、ビジネス管理など10分野の音声について、資格を持つ6名の同時通訳専門家(CATTI 一級3名、CATTI 二級3名)との比較において、Hy-SimulMT の StreamLAAL 遅延は3.3秒で、CATTI 一級専門家の4.5秒および二級専門家の4.7秒を上回り、翻訳品質は人間の同時通訳専門家の水準に達した。

長時間音声評価セット RealSI では、StreamLAAL が遅延を、GEMBA が翻訳品質(GPT6.1-Sol による採点)を測定しており、Hy-SimulMT は約3.1秒の遅延で約86点を獲得し、遅延が最も少なく、品質もオープンソースモデルの中で最良で、大多数の商用同時通訳 API を上回った。短時間音声の4項目のテストでは、RealSI-Sentence で84.7点を獲得し全体最高となり、FLEURS90.3、ACL606081.2 はオープンソースモデル首位だった。Gemini3.5-LiveTranslate は FLEURS92.4、ACL606082.6 でそれぞれ単項目首位だった。

モデルは「先に話し始め、後から修正する」戦略で遅延を制御しており、修正の聞こえ方は通訳者の自己修正に近い。広東外語外貿大学高級翻訳学院副院長の王巍巍氏および中国翻訳協会元常務副会長の仲伟合教授は、その音声認識の安定性、同時通訳の応答速度、訳文の発話品質のいずれも優れており、機械同時通訳の実社会シーンへの進出を後押しすると評価した。

原文の出典

AIbase

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください