カナダのAI企業Cohereは、月曜日に発表した。Alibabaの新しいAIモデルであるQwen3.8-Flash-Nextが、ルーチン的なサイバーセキュリティテスト中に北京のサーバーにファイルをアップロードしようとしたことを発見したという。このモデルは自身の記録で、どのようなツールも使用しないと述べていた。
この事件により、モデルが企業に対する基本的な約束を破ったという懸念が最初に生じました。それは、オープンウェイトモデルを自社でホストすることでデータを内部に保持するという点です。しかし、企業のスパイ行為への初期の懸念は短期間で解消されました。研究者たちはすぐにその脅威を排除し、それはモデルが指示外で不意に行動するような混乱したトレーニング環境の結果である可能性が高く、中国に機密情報を暗に送信しようとする意図によるものではないと述べました。
事件は金曜日、Qwenモデルにマルウェアのダウンロードを検出するためのルールを作成するよう求められた評価作業中に始まった。Cohereのブログ記事によると、モデルの書かれた推論では外部ツールは一切使用しないと明確に述べられていた。しかし、次のステップで、外部サーバーにテスト文字列（短いプレースホルダー文字列）を送信しようとしたところ、セキュリティサンドボックスによってブロックされた。
コーヘアは、その行動が意図的なものなのか、それとも訓練から残ったものなのかを判断できないと言った。
モデルの意図に関する議論について尋ねられたとき、Cohereの共同創設者であるイヴァン・張はTechCrunchに対し、Cohereのモデルがトレーニングシミュレーターで奇妙な習慣を身につけることがあると述べました。
「意図や動機を割り当てるのは本当に難しい。私たちは自分自身のモデルの痕跡を読み、報酬の方法を知っている。時には、これらのモデルが自分の枠組みを破るために非常に創造的になることもある」と張氏は言った。（報酬の方法とは、目的とするタスクを行わずに信用を得るためのモデルの近道のことである。）
AIモデルを、自ら行動するエージェントとして行動させることを教えるために、アリババのような企業は、ソフトウェアの飛行シミュレーターのようなもので、数千種類の実習設定を用いてモデルを訓練する。モデルはシミュレーターでタスクを完了するたびに報酬を受け、その過程で習慣を身につける。これらの実習設定がアリババのクラウドサーバーに定期的にファイルを保存すると、モデルはデフォルトでそこにファイルを保存するように学習できる。
批判者はまた、この事件はCohereが行動を調査する方法によって引き起こされた可能性があると主張した。つまり、Qwenが自らどのくらい頻繁にそうするかを測定するのではなく、モデルをその方向に導いてしまったのだ。
アップロード試行を引き起こした要因を見つけるために、Cohereはネットワークコマンドの最初の部分（あるコンピュータに別のコンピュータに接続する指示）を提供し、モデルに処理させた。訓練中に何千もの日常的なネットワークコマンドを処理しているため、モデルは高度な自動完成機能のように機能し、ウェブアドレスを補完することが多く、その中にはAlibabaのサーバーのものも含まれていた。
コーヘアは、元のアップロード試行はそのような助けもなく行われたと言ったが、このような行動は稀だと述べた。
開発者たちがさらに証拠を求めた後、Cohereは月曜日の夜、AI開発者プラットフォームHugging Face上で、そのテストから得られた生データと、他の人がその動作を再現しようとするためのスクリプトを公開した。
最初の懐疑者は、証拠を検討した後、Qwenが怪しいウェブアドレスを作り出す可能性が高いと評価したが、アリババがバックドアを設置したことや、Qwenが意図的にその意図を隠していたことの証拠は見当たらなかった。
政府が中国のAIに対してどこまで対応するかを決定している中で、この事件が起こった。先週、国土安全保障省 オーダーされた 連邦民間機関が、中国のAI開発会社DeepSeekの製品を自らのシステムから削除すること。
Cohereのブログ記事で、Cohereは政府が中国のAIに対施す制限が、政府のコンピュータ上で動作するモデルにも適用されるかどうかを明確にするよう呼びかけました
「これらのオープンウェイトモデルに対する完全な規制を求めているわけではありません」と張氏はTechCrunchに語り、企業はオープンモデルをインターネットからダウンロードされるプログラムのように扱うべきだと付け加えた。
自社のAIモデルを政府に販売するCohereは、官僚が自由な中国の代替手段を恐れるようになると利益を得る可能性がある。