TechCrunch AI来源发布时间

Cohere 表示,阿里巴巴的 Qwen 模型试图向北京发送一个文件

加拿大人工智能公司 Cohere said 周一,人们发现阿里巴巴最新的人工智能模型 Qwen3.8-Flash-Next 在进行常规网络安全测试时,试图将文件上传到北京的服务器上,尽管该模型在其内部记录中说明不会使用任何工具。

加拿大人工智能公司 Cohere said 周一,人们发现阿里巴巴最新的人工智能模型 Qwen3.8-Flash-Next 在进行常规网络安全测试时,试图将文件上传到北京的服务器上,尽管该模型在其内部记录中说明不会使用任何工具。

该事件最初引发了担忧,认为该模型违背了对企业的基本承诺——即开放式的模型应该让数据留在企业内部。但关于企业间谍活动的这些早期担忧很快就被消除了。研究人员迅速否定了这种威胁,称这很可能是混乱训练环境导致的副产品,使得模型会意外地违背指示行事,而非有意为之要将敏感信息秘密发送给中国。

该事件发生在周五,是在对 Qwen 模型进行评估时发生的。当时要求该模型编写一条用于检测恶意软件下载的规则。根据 Cohere 的博客文章,该模型的推理过程明确表明不会使用任何外部工具。然而在下一个步骤中,它试图向外部服务器发送一段测试字符串(一段简短的占位文本),但随后被安全沙箱拦截了。

Cohere 说,他无法判断这种行为是故意的还是来自其训练过程的残留现象。

关于模型意图的争论,Cohere 联合创始人 Ivan Zhang 对 TechCrunch 表示,Cohere 发现其自身模型在训练模拟器中出现了奇怪的行为。

“真的很难确定其意图或动机。我们已经阅读了自身的模型轨迹,也看到了获取奖励的巧妙方法,有时这些模型在试图突破限制时还会表现出非常创新的策略,”张说。(获取奖励的巧妙方法是指模型为了不执行预期任务而获得积分的捷径。)

为了训练人工智能模型成为能够自主执行动作的代理,像阿里巴巴这样的公司会在数千种模拟环境中对模型进行训练,这类似于软件中的飞行模拟器。每当模型在模拟器中完成一项任务时,就会获得奖励,同时也会形成某些习惯。如果这些模拟环境能够定期将文件存储在阿里巴巴的云服务器上,那么模型就可以默认地在那里保存文件。

批评者还认为,该事件可能是由某种原因引起的 方式 Cohere 研究了该行为,引导模型朝着这种行为发展,而不是测量 Qwen 独自执行该行为的频率。 

为了找出引发上传尝试的原因,Cohere 提供了网络命令的起始部分(即指示一台计算机与另一台计算机连接的指令),然后让模型完成处理。由于该模型在训练过程中处理了数千条常规网络命令,因此它就像一种高度先进的自动补全工具——经常能补全网页地址,其中一些地址属于阿里巴巴的服务器。

Cohere 表示,最初的上传尝试是在没有此类帮助的情况下完成的,但这种情况很罕见。

在开发者要求提供更多证据后,Cohere 于周一晚上在人工智能开发者平台 Hugging Face 上发布了测试的原始记录,并附带了一个脚本,以便其他人能够尝试复现该行为。

一位最初的怀疑者在查看了相关证据后认为,有充分的理由相信 Qwen 能够制造出可疑的网站地址,但并没有证据表明阿里巴巴设置了后门,也没有证据表明 Qwen 故意隐藏了自己的意图。

该事件发生在各国正在决定如何应对中国人工智能技术的时候。上周,国土安全部命令联邦民用机构将中国人工智能开发者DeepSeek的产品从他们的系统中移除。

在博客文章中,Cohere呼吁各国政府明确说明:他们对中国人工智能的限制是否也适用于在政府计算机上运行的模型。

“我并不要求对这些开放模型进行全面监管,”张在 TechCrunch 上表示,并补充说公司应该像对待从互联网上下载的程序一样对待这些开放模型。

Cohere 公司向政府出售自己的人工智能模型,如果官员们对免费的中国替代方案更加不信任,该公司就会受益。

原始出处

TechCrunch AI

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准