私たちは、非常に汎用的で、ますます自律エージェントによって定義されるコンピューティング環境へと急速に移行しています。動的に計画を生成し、外部ツールを呼び出すことができる大規模言語モデル（LLM）によって推進されるこれらのシステムは、AIが私たちの代わりに複雑で多段階のタスクをスムーズに処理する可能性を提供します。しかし、この可能性を実現するためには、エージェントが適切に動作することを保証しながら、エージェントの能力を実現するという重要な課題を解決する必要があります。
今日、私たちは包括的な新しいワークショップ報告書を共有します。そのタイトルは「エージェント型プライバシーとセキュリティにおける開放的かつ新たな問題：文脈的な視点」です。この報告書は、多数の機関から50人以上の学術および産業のリーダーが協力して作成したものです。私たちは2025年後半にニューヨーク市で開催されたGoogle Contextual Agent Privacy and Security（CAPS）ワークショップに集まりました。この報告書では、現在自律的なエージェントが直面している基礎的なプライバシーとセキュリティの課題が詳細に解説されており、システム、モデル、ユーザー、エコシステムの各レベルで協調的な対策が必要であることが示されています。
エージェント型の妥協
エージェント型AIの核心的な課題は、エージェントが有用であるためには、個人データにアクセスできる必要があるということです そして 幅広い状況において結果に応じた行動を取る能力。しかし、このアクセスとエージェントの行動的柔軟性は、従来のソフトウェアで用いられる方法とは意味的に異なるアプローチを必要とする。従来の決定論的なソフトウェアとは異なり、エージェントは3つの重要な側面において異なり、研究コミュニティが共に解決しなければならない課題をもたらす。
- 非構造化のインターフェースと入力の曖昧さ:エージェントは自然言語や画像のような形式で指示を処理するため、「期待される行動」を定義したり、プロンプト注入のような攻撃的な操作から保護することは困難です。
- 確率制御フロー：生成型計画により、従来のテスト手法では容易に保証できない確率的な実行パスが生じる。
- 自律性と委任：エージェントがより長いタスクを処理し、サブタスクを他のエージェントに委任するにつれて、従来のユーザーの監視は効果が低下し、不足になる可能性があり、「確認疲労」のリスクが生じる。
エージェント型AIのプライバシーとセキュリティの課題。
コンテキストレンズ
有用なエージェントがデータを共有したりタスクを完了したりする必要があるとすれば、信頼できるエージェントの未来は、彼らが行動する特定の文脈において、社会的規範や行動の適切性について推論し、理解し、制約される能力に依存すると私たちは考えています。
しかし、エージェントに「文脈」と適切性を理解させるにはどうすればよいのか？私たちの報告書は、文脈的整合性（CI）の理論に基づいている。この理論では、プライバシーは単なる秘密保持や管理ではなく、定められた正当な社会的規範に従った「適切な情報の流れ」として定義される。文脈依存の情報規範は、そのアクター（誰が誰に関する情報を送受信するか）、情報の種類（医療や金融記録などの特定の情報カテゴリー）、そして伝達原則（機密性や相互性のような流れを規定するルール）によって定義される。例えば、あなたは仮想ショッピングアシスタントとギフトリストを共有することを受け入れるかもしれないが、家族や友人にはそうしないかもしれない。私たちの報告書は、情報共有における文脈的整合性を、情報セキュリティ、つまりエージェントの行動の適切性に拡張・一般化する。CIにエージェントのプライバシーとセキュリティを根拠付けることで、実行前にその行動が社会的にも文脈上も適切かどうかを評価するシステムを設計する方法を探求する。
他のユーザー、ツール、エージェントと異なるコンテキストで相互作用する一般AIエージェントのモデル。
コンテキストの完全性の運用化
文脈的整合性理論が開発された以来初めて、LLMは真に文脈に依存する、機械が読み取れるポリシーを作成する機会を提供する。歴史的に、高レベルの文脈的規範と低レベルのシステム権限の間には意味論的なギャップが存在していた。 例えば、「会議のための旅行を計画する際に、自分のデータを保護する」という場合、フライトを予約した時、ビザ申請を行った時、運営者と連絡を取った時にどのユーザー情報を共有するべきかについての具体的な指示が必要です。
手動による権限設定や専門家が作成したポリシーといった従来の方法は、AIエージェントが自ら複数の複雑で長時間かかるタスクを実行するような未来には対応できない。言語モデルが始まるにつれて CIを理解するこのギャップは埋め合わせることができると我々は主張する。我々の報告書では、行動の適切性を監視し、確保するためのスーパーバイザー層の一部となる文脈ベースのポリシーエンジンを用いて、モデルとユーザーインタラクションの進展を補完することを提唱している。このポリシーエンジンには、動的なポリシー生成ループが含まれており、リアルタイムで機能し（下図参照）、ユーザーの要求や自由な動的な文脈、実行時に発見される可能性のある新しいツールや機能に合わせたポリシーを形成する。 これにより、ユーザーのワークスペースから情報が流出する前に、要求されたデータフローが適切かどうかをシステムが評価できる。
エージェント型システム内で、コンテキストベースのポリシーエンジンアーキテクチャが実装される一例です。
エージェント型プライバシーとセキュリティの多層的アプローチ
モデルとユーザーレベルでの必要な進歩と共に、文脈に応じたポリシーエンジンを目指す多層的なアプローチ。私たちの報告書では、全システムにわたる革新の機会が概説されている：
- システムレベルのサンドボックス化: 実行環境は、エージェントやモデルの失敗がもたらす影響を制限し、検出と対応を容易にするために、追加の制御手段を導入することができる。従来のオペレーティングシステムでは、ファイルやネットワークへのアクセスなどを静的に制限することでサンドボックス化が行われる。一方、エージェントについては、エージェントの能力を動的に制限し、エージェントの身元を確定し、状況の変化に応じてデータへのアクセスを承認または取り消すという方法を探求している。
- モデルレベルの推論：複雑なタスクを実行するエージェントは、ユーザーデータの共有などの行動の適切性を判断する必要がある。今後の研究では、モデルが不十分に指定されたユーザーのプロンプトを明確にし、変化する文脈の規範下で適切性について推論できるようになるべきである。
- ユーザ中心型制御：従来の「通知と選択」フレームワークは、個人が個人データに影響を与える行動について詳細な決定を下すことができると仮定し、予見可能性という前提に依存している。しかし、自律アグメントの行動は本質的に確率性が高く、大量であり、生成型である。我々は、ユーザーの心理モデルに合致する、動的で文脈に基づいた、個人化された制御メカニズムへとインターフェースを移行することについて探求する。
- マルチエージェント間の相互作用：AIエージェントが複雑なタスクにおいて安全に協力できるように、エージェントが共謀したり文脈の規範を破ったりするのを防ぐための有効なガードレールを開発する必要があります。
- エコシステムガバナンス: 我々はガバナンスメカニズムにおける課題を探求し、エージェント間で共有される文脈に基づく規範の集合を形成する。さらに、規範は異なる領域や主体によって異なるため、紛争を解決し、規範の変更を交渉し、遵守を確認する機構が必要である。
動的にプライバシーとセキュリティを測定する
最後に、高度に自律的なマルチエージェントシステムにより直接的に適用できる安全評価の新たなアプローチの開発を提案する。本報告書では、標準化されたマルチエージェントベンチマークの必要性が強調されている。これは、研究者が長期間にわたり複雑で連鎖的な相互作用を安全にシミュレートできる動的「エージェントギム」環境である。このオープンソースサンドボックスを用いることで、学術界と産業界全体で堅牢で共有可能なプライバシー、セキュリティ、安全性の基準を確立することができる。
行動を促す呼びかけ
これは野心的なプロジェクトですが、安全で信頼性の高いエージェント型エコシステムを実現することは、どの学問分野、組織、業界にとっても非常に大きな課題です。新しいアイデアと前例のない協力を求めるこの報告書は、基礎的な機会を提示しています。これは、学術界、政府、市民社会、産業界を含む広範な研究コミュニティに対し、安全で信頼性が高く、プライバシーを尊重するエコシステムのための必要な基盤を構築するよう呼びかけるものです。ぜひ技術報告書をご覧ください。
謝辞
共同第一著者を務めたリリアン・ツァイと、ワークショップの調整、報告書の執筆、ブログ投稿を担当したサラ・デ・ハスに感謝します。カッセム・ファワズ、ステファン・メルメ、ヘレン・ニッセンバウム、ニーナ・タフトは概念化、複数のセクションでの執筆、および執筆プロセスの指導に貢献しました。セバスチャン・ベントホール、マディハ・ザラ・チョクシ、セリエム・エル・セイド、フェルディナンド・フィオレット、アドリア・ガスコン、アシッシュ・フーダ、イヴァン・ペトロフ、フランチェスコ・ピント、オクタビアン・スキウ、トリシタ・ティワリ、ハロルド・トライドマン、レン・イ、ウェン・張は各セクションの責任者となりました。報告書の共同執筆やワークショップでの議論に参加した50人以上の研究者、学術パートナー、業界リーダーの貢献に感謝します。この研究はダニエル・ラマージ、コリンナ・コルテス、ヨッシ・マティアス、プシュメット・コーリ、ハンク・レヴィ、ラルクア・アダ・ポパ、アマンダ・ウォーカー、ブレンダン・マクマハン、ジェームズ・マニカの支援を受けました。