我们正在迅速向一个以高度通用、日益强大的自主代理为特征的计算环境转变。这些系统由能够动态生成计划并调用外部工具的大型语言模型（LLM）驱动，使人工智能能够代我们无缝处理复杂的多步骤任务。然而，实现这一潜力需要解决一个关键问题：在确保代理能够正确行动的同时，赋予其相应能力。
今天，我们分享了一份全面的新工作坊报告，名为“”。代理式隐私与安全中的开放问题与新兴问题：从上下文角度探讨“这是50多位来自不同机构的学术和行业领袖共同努力的结果。我们在2025年底在纽约市举行的 Google Contextual Agent Privacy and Security (CAPS) 研讨会上会面。在本报告中，你将看到自主代理当前面临的基本隐私与安全挑战的详细分析，这些挑战需要在系统、模型、用户和生态系统层面采取协调一致的防御措施。”
代理式权衡
代理式 AI 的核心挑战在于，为了发挥作用，代理需要能够访问个人数据和在多种情境下采取具有实际影响的行动。然而，这种访问权限以及代理的行为灵活性，要求采用与传统软件不同的方法。与传统的确定性软件不同，代理在三个关键方面存在差异，这些差异带来了研究界必须共同解决的挑战。
- 无结构接口与输入模糊性：代理以自然语言和图像等格式处理指令，这使得定义“预期行为”或防范提示注入这类对抗性操作变得困难。
- 概率控制流程：生成式规划会导致概率性执行路径，而传统测试方法难以轻松确保这些路径的有效性。
- 自主性与授权：当代理处理更长的任务，并将子任务委托给其他代理时，传统的用户监控效果会降低，很可能不足，从而带来“确认疲劳”的风险。
代理型人工智能的隐私与安全挑战。
上下文视角
鉴于有用的智能体可能需要共享数据并完成任务，我们认为可信智能体的未来取决于它们能否针对其运作的特定情境进行推理、理解，并受社会规范及行为适当性的约束。
但如何教会智能体理解“上下文”和适当性呢？我们的报告基于理论 上下文完整性 (CI)，将隐私定义为不仅仅是保密或控制，而是根据确立且合理的社会规范中的“适当的信息流动”。特定情境下的信息规范由其所遵循的规范决定。 演员 （谁在发送和接收关于谁的信息）， 信息类型 （特定类型的信息，如医疗或财务记录），以及 传输原理 （关于流程管理的规则，如保密性或互惠性）。例如，你可能愿意与虚拟购物助手分享你的礼品购买清单，但不愿与家人和朋友分享。我们的报告将信息共享的上下文完整性拓展并推广至上下文安全领域。 适当性 代理行为的实施。通过将代理的隐私与安全与 CI 相结合，我们探索如何设计系统，在执行行为之前评估其是否在社会层面和情境上合适。
一种通用人工智能代理与其他用户、工具和代理在不同情境中互动的模型。
将情境完整性转化为操作机制
自“情境完整性理论”提出以来，这是首次有大型语言模型能够生成真正依赖情境的机器可读取政策。历史上，高层情境规范与低层系统权限之间一直存在语义差异。 例如，“在安排会议旅行时保护我的数据”需要具体的操作指南，说明在预订航班、申请签证以及与组织者沟通时，哪些用户信息适合分享。
像手动权限或专家制定的政策这类传统方法，无法适应未来人工智能代理自主执行多种复杂且长期运行的任务的情况。随着语言模型开始理解上下文，我们认为这种差距可以被弥补。我们的报告主张通过上下文政策引擎来补充模型和用户交互的进展，该引擎属于监督层的一部分，用于监控并确保行为的合理性。该政策引擎包含动态政策生成循环，可以实时运行（如下方所示），从而根据用户请求以及开放、动态的上下文调整政策，包括在运行时可能发现的新工具和能力。这样，系统便能够在信息离开用户工作区之前，评估所请求的数据流是否合适。
这是关于如何在代理系统中实例化上下文政策引擎架构的示例说明。
多层次方法实现代理式隐私与安全
通过多层化方法，结合模型和用户层面的必要进展，致力于构建上下文相关的政策引擎。我们的报告概述了整个系统中的创新机会：
- 系统级沙箱化：执行环境可以设置额外的限制措施，以限制代理或模型故障的影响，并便于检测与响应。传统操作系统通过静态限制访问权限来实现沙箱功能，比如对文件或网络的限制。对于代理，我们探索动态限制代理能力、建立代理身份，并根据上下文变化来授权或撤销对数据的访问。
- 模型级推理：执行复杂任务的智能体必须判断其行为的适当性，例如分享用户数据。未来的研究应使模型能够消除未明确指定的用户提示的歧义，并在变化的情境规范下进行合理判断。
- 以用户为中心的控制：传统的“通知与选择”框架认为个体能够对涉及个人数据的操作做出精细化的决策，并基于可预见性假设。然而，自主代理的行为本质上是概率性的、高流量的且具有生成性特征。我们探索将界面转变为动态、情境化且个性化的控制机制，以符合用户的思维模型。
- 多智能体交互：为了让人工智能智能体能够在复杂任务上安全协作，我们需要制定有效的约束机制，防止这些智能体相互勾结或违反上下文规范。
- 生态系统治理：我们研究治理机制中的挑战，以制定一套可在各主体之间共享的情境规范。此外，由于不同领域和实体所遵循的规范可能有所不同，我们需要一些机制来解决冲突、协商规范变更并验证遵守情况。
动态测量隐私与安全状况
最后，我们建议开发新的安全评估方法，以更直接地应用于高度自主的多智能体系统。我们的报告强调了建立标准化多智能体基准测试的重要性——这些动态“智能体训练场”环境可以让研究人员在长时间内安全地模拟复杂的连锁互动现象。通过这些开源沙箱，我们可以在学术界和工业界建立一个稳健的、共享的隐私、安全与安全性标准。
行动号召
这是一个雄心勃勃的项目，但打造一个安全、可靠且值得信赖的代理式生态系统是一项极其艰巨的任务，无法由任何单一学科、组织或行业单独完成。该报告提出了新的思路和前所未有的合作机会，呼吁学术界、政府、民间社会及工业界的研究界共同努力，为构建一个安全、可靠且尊重隐私的生态系统奠定必要的基础。我们邀请您阅读技术报告。
感谢声明
我们想感谢 Lillian Tsai 作为共同主要作者，以及 Sarah de Haas 在研讨会组织、报告撰写和博客文章方面所做的工作。Kassem Fawaz、Stefan Mellem、Helen Nissenbaum 和 Nina Taft 在概念设计、多个章节的撰写以及写作过程中提供了指导。Sebastian Benthall、Madiha Zahrah Choksi、Seliem El-Sayed、Ferdinando Fioretto、Adrià Gascón、Ashish Hooda、Ivan Petrov、Francesco Pinto、Octavian Suciu、Trishita Tiwari、Harold Triedman、Ren Yi 和 Wen Zhang 担任了各章节的负责人。我们非常感谢超过 50 位研究人员、学术合作伙伴和行业领袖对报告的贡献，他们共同撰写了报告或参与了研讨会讨论。这项工作得到了 Daniel Ramage、Corinna Cortes、Yossi Matias、Pushmeet Kohli、Hank Levy、Raluca Ada Popa、Amanda Walker、Brendan McMahan 和 James Manyika 的支持。