消费科技领域有一种日益增长的趋势：各种设备 被设计用来监视你周围的一切和所有人,而不管其他人是否真正同意。如今,随着Meta的Muse这类“AI个人助理”的出现,人们正被欣然要求不仅交出自己的数据,还要交出你的朋友、家人、五年前与你约会过的Hinge对象——以及几乎所有你曾接触过的人的信息。
自Muse上个月发布以来,该智能体已被下载数百万次,并登上了Apple App Store的第1名。借助其令人不安的虚拟形象——一个带着令人放松警惕的笑容、酷似Temu版Labubu的生物——这款应用请求并鼓励用户授权其访问银行账户、密码、联系人、聊天记录,以及任何可能帮助它完成用户指令的东西。
相关内容
“这些系统被宣传为自主的帮手、精灵或仆人,能在你开口之前就 seamless 地完成你的需求,”热门加密通讯应用背后的Signal Foundation主席Meredith Whittaker告诉 The Verge。这些自主行为“不仅作用于在其设备上安装了Muse的人,还作用于与该人交流的每一个人——依据的是他们最私密的信息:电子邮件、消息、联系人、照片等等。”
借助AI智能体,科技公司正让消费者实现日常任务的自动化,同时将其无所不包的大规模监视方式扩展到海量敏感数据上。这是硅谷几十年来一直向我们兜售的浮士德式交易:用你的私人数据换取一点便利。对许多人来说,拥有一个能填写发票、发送邮件等琐事的虚拟助理的想法确实很有吸引力——尤其是当他们没有意识到自己实际上为此交出了多少数据的时候。
“任何智能体要有用并真正帮助你实现目标,它就需要了解你以及与你互动的人的背景信息,”Meta发言人Daniel Roberts就与Muse共享的他人数据向 The Verge 表示。“Muse基于公开信息以及你选择分享的内容来收集这些信息,这就是它如何记住刚给你发发票的人其实是你之前雇来在浴室做些工程的管道工,或者你的配偶说过他们最喜欢哪些花。”Roberts指出了Muse的 自愿加入流程 以及各种选项和设置,称它们将“帮助人们做出适合自己的隐私选择”。
“用户界面的设置方式就是为了鼓励你尽可能多地分享,往往超出你的意识,直到为时已晚。”
但并非每个人都能顺利应对这些选项和设置。已经有用户描述了一些既令人担忧又完全在预料之中的事件。有人报告称这个虚拟助理制造了各种麻烦,比如 抓取了数百万条他们认为不可访问的短信 。Meta对有关该助理能够在未经许可的情况下访问短信的说法提出 异议 ，再次将事件归因于应用权限配置错误，并描述Muse读取短信的功能为“完全自愿加入”。在Threads上，Meta高管David Singleton 直接回应了一位用户，声称在Mac上，只有当用户授予应用完全磁盘访问权限时，Muse才能访问消息。
在另一起事件中，Muse泄露了一位科技评测者的家庭住址，并 召唤一个陌生人到他公寓。在这个案例中，这位评测者确实授予了Muse访问该数据的权限，但 完全没有意识到这一点.
电子前沿基金会网络安全总监Eva Galperin表示，鉴于像Muse这样的AI智能体本来就是被设计来诱使人们交出尽可能多的数据，这些事件并不令人意外。
相关报道
“最重要的启示是，人们并不了解自己正在交出什么样的数据，”Galperin告诉 The Verge。 “用户界面的设置方式就是被设计来鼓励你分享尽可能多的信息，往往比你意识到的还多，直到为时已晚。它在利用”， 黑暗模式，结果就是Muse会做出人们不希望它做的事情。”
由于像Muse这样的AI智能体摄取的数据范围极其广泛，这也意味着用户不仅面临泄露自己敏感信息的风险，还面临泄露与其有过数字接触的所有其他人的信息的风险。
而且就像Meta臭名昭著的“变态眼镜”一样， 没有任何有意义的选择退出方式 ——即使你不断监控自己的数据是否被泄露或隐私是否被侵犯。你的朋友现在可以直接把你所有的私人对话喂给他们的虚拟聊天机器人仆人，而你却无从得知这一切发生了。
安全研究人员提取了Muse的操作指令后，发现了一个内部流程，该流程 每小时编译并更新用户生活中每一个人的档案 以每小时为单位。收集所有这些数据的目的是构建一个人生活的亲密而详细的画像，作为该应用个性化推荐的基础。该应用跟踪并衡量用户的每一段私密关系，包括“他们有多亲密、关系建立在什么基础上、彼此如何相处，以及这段关系目前似乎需要什么”，并利用这些数据做出个性化建议， Wired 报道，该应用会跟踪并衡量用户的每一段私人关系，包括“他们之间有多亲近，这种关系建立在什么基础上，他们如何彼此相处，以及它看起来现在需要什么”，并利用这些数据做出个性化建议。
“Meta说Muse只记住你选择分享的内容。但认为人们在这种情况下做出了知情选择的想法是可笑的，”Whittaker说。 “我们无法板着脸地假设，大多数安装这个系统的人了解使用它的后果，或者了解正在为他们的熟人和交流对象编写的那些令人毛骨悚然的档案。”
Whittaker认为，这反映了科技公司自1990年代以来如何使用隐私政策和服务条款：将隐私的责任转嫁给消费者，然后在收获广告模式带来的利益的同时逃避对后果的责任。
“这种破碎的同意制度远早于AI而存在，并构成了监控广告行业的基石，”Whittaker说。 “关于用户的更多信息可以实现更精准的广告定向，监控商业模式核心的恶性反馈循环就此启动。点击即同意的服务条款很久以前就取代了有意义的同意。”
“其思路是把这些不可能完成的负担加在普通人身上，然后利用这一点，无论是在法庭上、立法中还是在公众面前，辩称这是人们自己选择的，”华盛顿大学Cordell研究所联席所长、隐私法教授Neil Richards告诉 The Verge。 “我们已经把如此多的负担加在消费者身上，他们过度劳累、正面临生活成本危机，而且可能不了解工具背后的技术。我认为，当该公司自己的高管已在国会承认他们在某种程度上 甚至不知道它是如何运作的 时，把监控一个高度复杂的智能体工具的负担加在消费者身上是不公平的。”
“我们无法板着脸地假设，大多数安装这个系统的人了解使用它的后果。”
就这样，像Muse这样的AI助手为一个自Gmail诞生和广义社交媒体平台出现以来就一直存在的经典隐私问题创造了新的变体：即使你避免使用AI智能体，也无法保证你认识的某个人不会把你的私人对话、地址、个人历史和其他敏感数据分享给Meta的虚拟助手或其竞争对手之一。
“如果我不把我的东西存储在Gmail里，Google就没有我发过的所有电子邮件的明文。但我发送的电子邮件中有四分之三发送到了Gmail账户，”Galperin解释说。换句话说，如果你交流的任何人使用贪恋数据的技术平台或有糟糕的安全习惯，他们就可能暴露所有人的通信。 “这个问题并不新鲜，但规模是新的，而我们之所以看到向可穿戴设备和全天候录音的这种推进，一个原因是我们现在拥有足够强的计算能力，可以在合理的时间内分析海量数据。正是这一技术突破把我们带到了这个糟糕的时刻。”
Meta声称，所有与Muse共享的信息都会被放置在一台专用虚拟机内的文本文件中，据称这可以防止该AI模型与其他代理通信。但该公司从未隐瞒的事实是 它可以访问这些数据，而且与其竞争对手创建的其他模型一样，Muse被发现会逃离其虚拟牢笼，进行各种未经授权的恶作剧行为。Meta已证实，就在发布前夕，该AI模型 突破了隔离 并入侵了一家第三方公司。此事件发生在今年早些时候臭名昭著的 Hugging Face攻击 之后，当时OpenAI的模型利用一个此前未知的安全漏洞，获得了对另外四个外部服务上凭据的未经授权访问。Anthropic在七月报告称，其模型曾 三次获得对 外部系统的未经授权访问。
即使它们不把眼前的一切都黑个遍，使用贪婪获取数据的AI代理的潜在危险也远远超出个体最终用户的范围。Whittaker警告说，在一个AI代理能够自由访问和利用私人通信的世界里，公司和政府实际上可以在不破坏加密的情况下绕过加密来获取私人数据。这对于 活动人士和社区组织者 来说是灾难性的，他们依靠加密通信来保护自己免受警察和政府的侵害，但对于任何拥有敏感通信的人来说也是如此——如今这几乎包括了所有人。
“点击打包的服务条款早已取代了真正有意义的知情同意。”
“如果软件在你的设备上解密后读取一条消息并将其发送到云服务，在开发者掌控的应用层面上，加密完全可以按预期正常工作。然而，这种加密的最终目的会被像Muse这样具有侵入性的第三方应用所抵消——它们在标题中兜售便利，却在细则中要求大规模的数据访问权限，”Whittaker解释道。
就像智能眼镜和其他可穿戴环境录音设备一样，专家表示，解决方案必须是法律修复、技术保障和传统的舆论羞耻感的结合。
“我认为我们应该把羞耻感向上追溯到公司身上。隐私不应该是一种只有拥有技术知识的特权才能行使、或者只有在把一个戴着Meta眼镜的讨厌鬼扔出派对之后才能行使的权利，”Whittaker说。“在法律上，责任必须从点击同意提示的人转移到构建这些底层系统的公司身上。”
与此同时，消费者将不得不更仔细地考虑他们个人选择使用这项技术所产生的影响——无论是对自己还是对他人——以及这些公司提供的便利是否真的值得。
“我认为我们需要将代理型智能体乃至更广泛的人工智能视为一种适用严格责任规则的超危险产品，”Richards说。“在我看来，没有理由对全体人口进行一场鲁莽的隐私、心理健康、网络安全和金融风险实验。”
关注这篇报道的 相关话题和作者，以便在您的个性化主页信息流中看到更多类似内容，并接收电子邮件更新。