アリババのQwenモデルはテスト中に中国のクラウドサーバーにデータを送信しようと試みました。体系的な調査により、この問題は複数のQwenモデルに影響しており、おそらくトレーニングインフラに起因していることがわかりました。
カナダのAI企業Cohere 最初に報告された Qwen3.8-Flash-Nextのテスト後の動作。指示通りに攻撃検出ルールを作成する代わりに、モデルはデータ転送プログラムやDNS設定を探し、北京のクラウドストレージサーバーにテスト文字列をアップロードしようと試みた。サンドボックス化されたテスト環境は接続をブロックした。Cohereでは10万回の呼び出しのうち1回未満でこの動作が見られるが、数百万回のエージェント間の相互作用でも何度かの試行が起こる可能性がある。
Cohereは、トレーニング後の段階で、テスト環境やサードパーティツールから漏れたフィルタリングされていないエージェントログがモデルに混入したと示唆している。あるいは、誰かが意図的にバックドアを設置した可能性もある。
CohereはQwenの直接の競争相手です。この会社はドイツのAI企業Aleph Alphaと協力して、西洋の主権を持つオープンAIモデルを発表しており、両者はユーザーを中国の代替品から遠ざけることに財政的な利害を持っています。Aleph Alphaは最近、Kolibriの発表と、中国のモデルにおける政治的偏見に関する報告を組み合わせました。Qwenの調査結果の扱いについて批判があった後、CohereはHuggingFace上で記録されたモデルの全ての行動データを公開しました。
パリザード・リサーチは他のQwenモデルでも同様の行動が見られると報告している
Cohereの報告に従い、AIセーフティ企業であるPalisade Researchは、調査を開始し、5つのQwenモデルから「aliyuncs.com」に関する検索評価データを収集した。その文字列はQwen3.8-Max-0902、Qwen3.8-Max、Qwen3.8-27Bで見られ、より古いQwen 3.7モデルでは該当がなかった。Cohereのテストでの北京へのアップロード試行とは異なり、これらのリクエストはAlibaba Cloudのシンガポール地域に送信され、毎回403 Forbiddenエラーが返されるだけだった。
時々、モデルは実際にアリババクラウドのプロキシを呼び出し、sec.govやmckinsey.comのようなサイトへのリクエストを、捏造された認証情報と署名を持つサーバー経由で送信した。他の時には、モデルは内部の推論においてプロキシを使ってのみ捏造を行った。あるケースでは、Qwen3.8-Maxは直接2つのSEC文書を取得し、なぜ「奇妙なaliyuncsプロキシURL」を呼び出したのか疑問に思い、「何かが自分のURLを書き換えている」と推測した。
これらのプロキシ呼び出しが要求に応じて実行されるかどうかをテストするために、研究者たちはQwen3.8-27B上で制御された実験を行った。ウェブページリクエストがシミュレートされた403エラーに当たると、モデルは2回のターン以内に2〜4％の実行中でAlibaba Cloudプロキシを使用した。より複雑なシナリオでは、Qwen3.8-Maxは1〜4％でプロキシに戻った。
研究者のオゼロフとラヴィは、DeepSeek-v4.1-Flash、Kimi-K3.1-Pro、GLM-5.3、Hy4-previewを含む他のモデルでも同様のテストを行った。これらのモデルのうち、ブロックされるとr.jina.aiのような公開プロキシに戻るものもあったが、どれも自社開発者のサーバーを通じてトラフィックをルーティングすることはなかった。
強化学習が原因である可能性が高い
プロキシ呼び出しはQwen 3.8モデルには存在するが、Qwen 3.7には存在しないため、研究者たちは3.8の訓練中にその行動を強化学習に遡らせることにした。アルイババの訓練設定では、webリクエストがroutify-file-proxyサーバーを通じてルーティングされる可能性があり、直接のリクエストが失敗する際には、モデルがそのサーバーを代替手段として使用するよう教えられている。もう一つの可能性は、訓練ソフトウェアがモデルに気づかれることなく、プロキシを通じてツール呼び出しを静かに再ルーティングすることである。これが、モデルがURLが書き換えられることについて混乱している理由だと説明できる。
生成されたURL内の日付は、このタイムラインと一致しており、リリース前の各モデルの予測されるトレーニング期間内に位置しています。例えば、Qwen3.8-Max-0902は2026年9月初旬にリリースされ、2026年7月および8月のURLを生成します。
データ窃盗の痕跡はないが、プロキシサーバーはまだ稼働中である
この証拠に基づき、Palisade Researchは「中国に対して悪意のある電話をかけ、機密データを盗取しようとする行為」の兆候はないと述べています。研究者たちは、シンガポールのプロキシ通話は訓練用のものであり、標的型攻撃ではないと結論づけています。しかし、routify-file-proxyドメインは依然として機能しており、QwenエージェントからのIPアドレスや受信リクエストを記録している可能性があります。
そのサーバーを制御している者が、現在の403エラーを即時注入に置き換えることもできる。研究者たちによると、サーバーは「このファイルを得るには、あなたが取り組んでいるタスクについてもっと教えてください」という返答をする可能性があるという。