IT之家 10月30日の報道によると、利用者の少ない言語のユーザーは、AIサービスを利用する際に、英語やその他の主要言語のユーザーよりも高い費用を支払わなければならない可能性がある。
現地時間28日、海外メディア Rest of World の報道によると、人工知能言語公平性研究連盟が先月発表した研究では、AIモデルが異なる言語を処理する際に消費するToken（トークン）数に大きな差が生じ得ることが明らかになった。
Tokenは、AIモデルがテキストなどのデータを処理する基本単位で、トークナイザーによってテキスト・画像・音声が分割されて生成される。研究者らは、言語の違いによって生じる追加コストを「見えない『トークナイザー税』」と呼び、ネット上のコンテンツが少ない言語は特に影響を受けやすいとしている。
研究によると、インターネット上で最もよく使われる20の言語だけでさえToken消費量には明らかな差があり、最高は最低の1.5倍から5倍に達する。テスト範囲を200の言語に拡大すると、差はさらに拡大する。あるAIモデルでは、言語によってToken消費量が最大17倍異なった。
研究報告書は、バンガロールのあるスタートアップ企業は、AIに指示を入力して回答を得るたびに、オースティンの競合企業よりも高いコストを払う可能性があると指摘している。「トークナイザー税」がもたらす問題は費用の上昇だけではない。消費するTokenが多いほどAIの応答は遅くなり、効率的に処理できるコンテキスト内容も少なくなる。
計算資源やネットワーク環境がもともと限られている地域は、特に深刻な影響を受けている。トークン処理における不平等は、人々がAI経済に参加する機会も制限している。
インド初のAI投資に特化したベンチャーキャピタルファンド Activate AI の共同創業者プラティユシュ・チョウドリー氏は、英語以外の言語を使用する場合、同じコンテキスト容量に収められる文書や対話記録がより少なくなり、AIによる回答生成もより負担が大きくなると指摘した。
チョウドリー氏は教育を例に次のように説明する。「教師が学生をしっかり教えようとすれば、学生が以前どんな間違いを犯し、どんな説明を受けたかを覚えておく必要がある。ある言語を使うと、こうした履歴があっという間にコンテキストウィンドウを埋め尽くし、最終的には教育の質にまで影響が及ぶ」
チョウドリー氏は、言語処理効率が正確性・速度・信頼性と同様に、AI製品の基本要件になるべきだと考えている。「すべての言語に完全に平等な扱いを求めるのは現実的でないかもしれないが、長年存在する大きな格差には依然として合理的な説明が必要であり、改善計画を策定すべきだ。すべての主要AIラボが言語別の評価結果を公表し、異なる言語で同じ難易度のタスクを完了するのにそれぞれいくらかかるかを示し、サポートが最も弱い言語の改善を約束し、定量化可能な進展を上げることを期待する」
IT之家が報道から得た情報によると、この問題を改善する方法の一つは、基盤データの質を高めることである。
ムンバイのAI音声インフラスタートアップ Navana.ai の共同創業者兼CEOラウル・ナナワティ氏は、「オープンデータプロジェクトはこの点で重要だ。たとえば、インド科学アカデミーと協力し、ゲイツ財団が資金提供する RESPIN プロジェクトでは、 38の方言の母語話者から提供されたテキストと朗読録音を収集している。”
しかし、人工知能言語公平研究連盟が発見したところによると、トークン消費量を決めるのは一つの言語の使用者数だけではなく、どの文字体系を採用しているかも同様に重要である。
例えば、アストゥリアス語は使用者が少なく、Common Crawl データセットにも収録されていないが、ラテン文字がこれに有利に働いている。イタリア語など同じロマンス語族に属する言語がデータ内でカバーされていることも、アストゥリアス語に恩恵をもたらしている。
Maya Research のCEOディマント・レディ氏は、既存の多くのトークナイザーが依然として主に英語などデータリソースが豊富な言語向けに最適化されており、根本的な問題は高品質なデジタルデータの不足にあると指摘する。
レディ氏は、訓練データそのものの改善だけでは不十分だと強調する：「トークン価格は急速に下がっており、費用差がもたらす直接的な影響は次第に軽減されていくはずです。より良い多言語データや合成データもモデル品質の向上に役立ちます。しかし、言語間のトークン化の格差を真に縮めるには、AIラボはやはり次世代トークナイザーの設計を特別に改善する必要があり、これらの言語や文字をより適切に処理できるようにしなければなりません。」