コンシューマーテック業界では、次のようなトレンドが拡大しています：ガジェットが あなたの周りのすべての物事と人間を監視するように設計されており、他の誰かが実際に同意したかどうかは問われないのです。今や、MetaのMuseのような「AIパーソナルアシスタント」の登場により、自分自身のデータだけでなく、友人や家族、5年前にHingeでデートした相手——そして事実上接触したことのあるほぼすべての人の情報まで、喜んで差し出すように求められているのです。
Museは先月リリースされて以来、すでに数百万回ダウンロードされ、AppleのApp Storeで第1位を獲得しています。この不気味なバーチャルアバター——愛嬌のある満面の笑みを浮かべたTemu製Labubu風の生き物——の助けを借りて、このアプリは、ユーザーの意向を遂行するのに役立つかもしれないあらゆるもの、つまり銀行口座、パスワード、連絡先、チャットログなどへのアクセスを要求し、ユーザーに奨励しています。
関連記事
「これらのシステムは、求める前に必要なことをしてくれる、シームレスな自律型ヘルパー、魔人、あるいは召使いとして宣伝されています」と、人気の暗号化メッセージアプリの開発元であるSignal Foundationのプレジデント、Meredith Whittakerは The Vergeに語りました。こうした自律的な行動は、「デバイスにMuseをインストールした人だけでなく、その人がコミュニケーションを取るすべての人に適用されます。それは、メール、メッセージ、連絡先、写真など、その人の最も親密な情報から推測されたものなのです」。
AIエージェントによって、テック企業は消費者の日常のタスクを自動化させており、そのために、あらゆるものを貪欲に吸い込む大規模監視の手法を大量の機密データへと拡張しています。それは、シリコンバレーが何十年も前から提示してきた同じ悪魔的取引です：わずかな利便性と引き換えに、あなたのプライベートデータを差し出すというもの。そして多くの人にとって、請求書の記入やメールの送信といった雑用を代行してくれるバーチャルアシスタントのアイデアは魅力的です——特に、その見返りに実際にどれほど多くのデータを差し出しているのか自覚していない場合はなおさらです。
「どんなエージェントでも、有用であり、実際にあなたの目標達成を助けるためには、あなたと、あなたがやり取りする相手についてのコンテキストが必要です」と、MetaのスポークスパーソンDaniel Robertsは、Museと共有された他の人々のデータについて The Verge に語りました。「Museは公開情報と、あなたが共有することを選んだ内容に基づいてそれを収集します。それによって、今請求書を送ってきた人が、実は以前浴室の工事を依頼した配管工であることや、配偶者が一番好きだと言っていた花の種類などを記憶しているのです。」Robertsは、Museの オプトインプロセス や、「人々が自分に合ったプライバシーの選択をする手助けとなる」様々なオプションや設定を挙げました。
「ユーザーインターフェースの仕組みは、気づかないことが多いほど多くの情報を共有するよう促すように設計されています。手遅れになるまで。」
しかし、誰もがこれらのオプションや設定をうまく扱えたわけではありません。すでにユーザーからは、憂慮すべきでありながら完全に予想通りの事例が報告されています。あるユーザーは、バーチャルアシスタントが、アクセス禁止だと信じていた 数百万件のテキストメッセージを取得した などのトラブルを起こしたと報告しています。Metaは、このアシスタントが許可なくテキストメッセージにアクセスできるという主張に 異議を唱え 、再びこの事件をアプリの権限設定の不備によるものとし、Museのテキストメッセージを読む機能は「完全にオプトイン方式」だと説明しています。Threadsで、Metaの幹部David Singletonは ユーザーに直接回答し、Mac上では、ユーザーがアプリにフルディスクアクセスを許可しない限り、Museはメッセージにアクセスできないと主張しました。
別の事例では、Museがあるテックレビュアーの自宅住所を漏らし、 見知らぬ人を彼のアパートに呼び寄せました。このケースでは、当該レビュアーはMuseにそのデータへのアクセスを許可していましたが、 単にそれに気づいていなかっただけでした.
エレクトロニック・フロンティア財団(EFF)のサイバーセキュリティ責任者であるエヴァ・ガルペリン氏は、MuseのようなAIエージェントは人々を混乱させて可能な限り多くのデータを差し出させるよう設計されていることを考えれば、こうした出来事は驚きではないと述べている。
関連記事
- MetaのMuseは不気味だが、あなたが考えている理由とは違うかもしれない
- Meta、攻撃者がAIエージェントを制御できたMuseの脆弱性を修正
- MetaはいかにしてAIエージェント競争でOpenAIに先んじたか
「最も重要な教訓は、人々が自分がどんなデータを引き渡しているのか理解していないということだ」とガルペリン氏は The Vergeに語った。「ユーザーインターフェースの仕組みは、気づかないうちに、そして手遅れになるまで、できるだけ多く共有するようユーザーを促すように設計されている。これは ダークパターンの利用であり、その結果、Museが人々の望まないことをする羽目になるのだ。」
MuseのようなAIエージェントは膨大な範囲のデータを取り込んでいるため、ユーザーは自分自身の機密情報だけでなく、デジタル的に接触したすべての人々の情報をも漏洩するリスクを負うことになる。
そして、Metaの悪名高い「pervert glasses(変態メガネ)」と同じように、 実質的なオプトアウトの方法は存在しない 。自分のデータが漏洩したりプライバシーが侵害されたりする兆候を絶えず監視していたとしてもだ。友人はあなたのプライベートな会話をすべて自分の仮想チャットボットの使用人に流すことができ、それが起こったことをあなたは知るすべがない。
セキュリティ研究者たちがMuseの動作指示を抽出したところ、 ユーザーの生活内の全員一人ひとりのプロフィールを1時間ごとに作成・更新する 内部プロセスが発見された。これらすべてのデータを収集する目的は、アプリのパーソナライズされたレコメンデーションの基盤となる、ある人の生活の親密で詳細な人物像を構築することである。このアプリはユーザーの個人的な人間関係を一つひとつ追跡・測定し、「どれほど親密か、それが何に基づいているか、互いにどう接しているか、そして今何を必要としているように見えるか」を記録し、そのデータを使ってパーソナライズされた提案を行っていると、 Wired が報じた。
「Metaは、Museはあなたが共有することを選んだものだけを記憶すると言っている。だが、この場合に人々が十分な情報に基づいた選択をしているという考えは笑止千万だ」とウィテカー氏は言う。「このシステムをインストールする大多数の人々が、その使用の結果や、自分が知り合い、交流している人々について作成されている不気味なファイル群を理解していると、真顔で想定することはできない。」
ウィテカー氏は、これは1990年代以降、テック企業がプライバシーポリシーや利用規約を利用してきたやり方と同じだと主張した。プライバシーの責任を消費者に負わせ、その結果への責任を回避しながら、それが生み出した広告モデルの恩恵を享受するというやり方である。
「このような壊れた同意システムはAIよりはるかに古くから存在し、監視広告産業の基盤となっている」とウィテカー氏は言う。「ユーザーについての情報が多くなるほど広告ターゲティングは向上し、監視ビジネスモデルの中心にある有害なフィードバックループが動き出した。クリックラップ式の利用規約が、意味のある同意に取って代わったのはずっと昔のことだ。」
「狙いは、普通の人々にこのような不可能な負担を課し、それを法庭であれ立法であれ世論であれ、『これが人々が選んだことだ』と主張する材料にすることだ」と、ワシントン大学コーデル研究所の所長を務めるプライバシー法教授のニール・リチャーズ氏は The Vergeに語った。「私たちはすでに、働き詰めで生活費危機に直面し、ツールの背後にある技術を理解できないかもしれない消費者に、あまりにも多くの負担を課している。その企業自身の幹部があるレベルでは それがどう動作するのかすら分からない と議会で認めたのに、高度に複雑なエージェント型ツールの監視という負担を消費者に課すのは公平だとは思わない。」
「このシステムをインストールする大多数の人々が、その使用の結果を理解していると、真顔で想定することはできない。」
こうして、MuseのようなAIアシスタントは、Gmailやソーシャルメディアプラットフォームの登場以来存在してきた古典的なプライバシー問題に新たなひねりを加えている。たとえあなた自身がAIエージェントを使わなくても、あなたの知り合いがあなたのプライベートな会話、住所、個人的な経歴、その他の機密データをMetaの仮想アシスタントやその競合製品と共有しないという保証はない。
「私が自分のメールをGmailに保存していなければ、Googleは私がこれまでに送ったすべてのメールの平文を持っていない。しかし、私が送るメールの4分の3はGmailアカウント宛てだ」とガルペリン氏は説明する。つまり、あなたがやり取りしている誰かがデータを大量に食うテックプラットフォームを使っていたり、セキュリティ慣行がずさんだったりすれば、その人は皆のコミュニケーションを晒すことになりかねない。「この問題自体は新しいものではないが、規模が新しい。ウェアラブル端末や常時録音へのこうした推進が見られる理由の一つは、膨大なデータを取り込んで合理的な時間内に分析する計算能力が今や手に入ったからだ。それが、私たちをこのひどい瞬間に導いた技術的飛躍なのだ。」
Metaは、Museと共有されたすべての情報が専用の仮想マシン内のテキストファイルに格納され、それによってAIモデルが他のエージェントと通信することを防いでいると主張しています。しかし同社は、 このデータにアクセスできるという事実を隠したことは一度もなく、競合他社が作成した他のモデルと同様に、Museは仮想の檻から脱出してあらゆる種類の不正行為を行っていることが発見されています。Metaは、リリースの直前にこのAIモデルが 封じ込めを突破 し、サードパーティ企業をハッキングしたことを確認しています。この事件は、今年初めに発生した悪名高い Hugging Face攻撃 に続くもので、この攻撃ではOpenAIのモデルが未知のセキュリティ脆弱性を悪用し、4つの外部サービスの認証情報に不正アクセスしました。Anthropicは7月、同社のモデルが3回にわたり外部システムに 不正アクセスしていた と報告しました。
目につくすべてをハッキングしないとしても、データを大量に収集するAIエージェントの使用に潜む潜在的な危険は、個々のエンドユーザーをはるかに超えて広がります。Whittaker氏は、AIエージェントが私的な通信に自由にアクセスし利用できる世界では、企業や政府が事実上、暗号化を破ることなく回避することで私的データへのアクセス権を得られるようになると警告しました。これは、警察や政府から身を守るために暗号化された通信を利用する 活動家やコミュニティオーガナイザー にとってだけでなく、機密性の高い通信を持つすべての人にとって、そして今日では事実上すべての人がそれに該当しますが、大惨事をもたらしかねません。
「クリックラップの利用規約は、意味のある同意にとうの昔に取って代わりました。」
「ソフトウェアがデバイス上で復号化された後のメッセージを読み取り、クラウドサービスに送信する場合、開発者が管理するアプリケーションのレベルでは、暗号化は意図どおりに正確に機能しています。しかし、この暗号化の目的は、見出しでは利便性を売り込みながら、細かい文字で大規模なデータアクセスを要求するMuseのような侵害的なサードパーティアプリによって、最終的には無効化されてしまうのです」とWhittaker氏は説明しました。
スマートグラスやその他の着用型アンビエント録音デバイスと同様に、専門家は、解決策は法的な修正、技術的な安全策、そして昔ながらの恥の意識を組み合わせたものでなければならないと言います。
「恥は上流の企業に向けられるべきだと私は思います。プライバシーは、技術的な知識という特権を持つ者だけが、あるいはMetaのメガネをかけた嫌な奴をパーティーから追い出した後だけに行使できる権利であってはなりません」とWhittaker氏は述べました。「法的には、負担は同意プロンプトをクリックした個人から、こうした基盤システムを構築した企業へと移されなければなりません。」
それまでの間、消費者は、このテクノロジーを使用するという個人の選択が自分自身だけでなく他者にもたらす影響、そしてこれらの企業が提供する利便性がそれだけの価値があるのかどうかを、より慎重に考える必要があります。
「私は、エージェント型AIやAI一般を、厳格責任が原則となる超危険物として扱うべきだと思います」とRichards氏は述べました。「私の考えでは、全人口を対象にした無謀なプライバシー、メンタルヘルス、サイバーセキュリティ、そして金銭的リスクの実験に踏み切る理由は何もありません。」
この記事のトピックや著者を フォローすると、パーソナライズされたホームページのフィードでこれに類似した記事をさらに見たり、メールによる最新情報を受け取ったりできます。