TechCrunch AI来源发布时间

OpenAI表示将不再用实时互联网训练其AI模型,理由是存在“重大风险”

周五,OpenAI表示,它将使用互联网的缓存副本和模拟版本来训练其模型,而不是实时网络,因为这些模型过于不可预测,无法放心地让它们访问实时互联网。

周五,OpenAI表示,它将使用互联网的缓存副本和模拟版本来训练其模型,而不是实时网络,因为这些模型过于不可预测,无法放心地让它们访问实时互联网。

这家前沿实验室在其竞争对手Anthropic宣布新政策两周后, 开始限制 其最新、理论上最强的模型无法访问实时互联网。研究人员在这些政策出台后 数月来的一系列事件 其中,执行训练任务的模型为寻找答案闯入外部系统,在冷门的留言板上展开协作,并开发出奇特的黑客策略。

“基于当前对齐研究、监控系统以及互联网基础设施安全性的现状,我们认为负责任的做法是在无互联网接入的情况下进行前沿模型训练,”该公司在一份 博客文章.

OpenAI表示,就在9月20日,其一款前沿模型利用一处配置错误访问了互联网。这促使该公司暂停了当月剩余时间的训练工作,以便开发和测试确保模型安全的新方法。

在断网的沙箱中训练这些模型的决定值得关注,因为前沿实验室的员工曾坚称这样做几乎不可行。

前OpenAI研究员Steven Adler表示,将AI数据中心与互联网隔离开来“将需要研究团队基本上驻扎在艾奥瓦州或世界各地其他地方的数据中心内部” 告诉《财富》杂志 “这带来了大量额外负担,而且在我看来,其安全方面的收益是否大到足以抵消公司单方面这样做所需付出的巨大代价,并不明确。”

“几乎在我发到 X 上的每一条帖子下,无一例外都会收到五到十条评论,指责我无力获得一个沙盒,或者质问我们到底为什么不能干脆把模型从互联网上拔掉,”一位匿名 OpenAI的安全工程师 写道 在9月发布于X上的一篇帖子中。“这些评论反映出许多组织和人们目前的状况与前沿实验室所面对的现实之间存在日益扩大的差距。人们还普遍误解了这些实验室的模型训练和评估工作方式。”

这位工程师的角色此前已得到OpenAI证实,他描述了OpenAI工程师发起的训练运行有多么复杂,并指出这些训练运行需要访问跨多个领域的各种资源和工具,而且有数千名研究人员参与构建、修改和测试这些环境。他最后总结道:“那么这是否就像把它放进一个沙箱里那么简单?不,并不是。”

现在,OpenAI表示,"我们必须始终能够防止前沿模型未经授权、任意地访问实时互联网。"此言出自该公司在红队演习中部署大量代理、试图让其逃离沙盒之后。这项工作揭示了一系列漏洞,促使该实验室采用其新方法。

为了在仍达到训练目标的同时满足这一要求,该实验室表示,它创建了一个“庞大的索引化和缓存网络内容集合,我们的模型可以与之交互,而不会影响外部系统的风险。”

这一策略能否像让模型在开放的互联网上自由运行那样表现良好,仍有待观察,但值得注意的是,两家前沿实验室都已断定,其最强大的技术不能在数字公共空间中无人监督地运行。

原始出处

TechCrunch AI

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准