周一,Amazon Web Services 发布了名为 TorchNeuron 的工具,该工具帮助人工智能初创企业能够轻松将他们的 AI 应用部署在 Amazon 的 Trainium AI 芯片上。通过这种方式,Amazon 也试图直接挑战那种让 Nvidia 成为人工智能应用默认硬件选择、并推动其成为首选人工智能硬件供应商的软件优势。
TorchNeuron 与 PyTorch 合作,PyTorch 是一种免费的开源工具包,开发者使用它来构建、训练和运行人工智能模型。根据亚马逊的说法,只需修改一行配置,即可让用 PyTorch 编写的人工智能应用在 Trainium 上运行——无需重新编写代码。
亚马逊表示,约 85% 的 AI 应用都是使用 PyTorch 编写的。Facebook 最初开发了 PyTorch,但自 2022 年起,它便成为维护开源项目的 Linux 基金会的一部分。Nvidia 花费多年时间确保其 CUDA 软件——即允许应用在 Nvidia GPU 和其他硬件上运行的软件基础设施——能够无缝支持使用 PyTorch 编写的 AI 应用。因此,Nvidia 的硬件现在已深度融入工具集中,几乎默认就如此了。
TorchNeuron 是从 PyTorch 改编而来的,因此熟悉 PyTorch 的开发者自然也知道如何使用它。Amazon 并非第一家试图轻松将芯片引入该平台的公司。PyTorch 用户也可以通过简单的配置更改,将其应用程序移植到 AMD GPU 甚至 Apple 的芯片上。
然而,Amazon认为迁移到Trainium不仅简单,还能让AI初创企业获得Amazon整个云服务的支持。不出所料,AWS声称这对初创企业来说比使用新云更好,因为许多新云都与Nvidia及其硬件产品相关,例如Coreweave、Nebius和Firmus。
“您正在使用 AWS。您不必依赖一种单一用途的计算服务,然后费力去构建其他所有内容,”AWS Annapurna Labs 技术软件副总裁 Colin Brace 通过电子邮件向 TechCrunch 表示。“在 AWS 上,”他继续说道,“从原型到生产的整个基础设施已经具备,这使得创始人能够在需要时快速推进并扩大规模。”
AWS 表示,由于同一块芯片既用于训练(对人工智能模型进行训练)又用于推理(让训练完成的模型发挥作用,例如回答用户的问题),并且与初创企业所需的云基础设施紧密集成,因此其云服务能够为他们节省成本,即使 AWS 没有提供最便宜的每令牌价格。
“Trainium 的价值在于价格与性能的平衡,再加上它是培训与推理的统一平台,这提升了整体工作负载的经济性,” Brace 说。“看看 Deepgram——他们……” 转到 Trainium 使用原生 PyTorch,能够支持并让音频处理成本降为每美元产生 70% 更多的音频量,同时达到生产级精度。 Deepgram 是一家人工智能语音应用提供商,是 ElevenLabs 的竞争对手。
但亚马逊并不只满足于为 PyTorch 应用开发者提供一个轻松的迁移到其云端的选项。
Amazon还表示,正在推动 PyTorch减少对 Nvidia 的依赖,并将实现这一目标的代码贡献到主 PyTorch 项目中。在宣布新工具的博客文章里, 公司写道:
亚马逊的方法不仅限于其自身硬件。该公司正在向 PyTorch 本身提供改进建议,并与 PyTorch 社区合作,移除那些将框架与特定芯片绑定的代码。目的是让 PyTorch 能够适应各种硬件环境,从而惠及整个开发者社区,而不仅仅是 Trainium 用户。
虽然这种策略对那些与 Nvidia 竞争的硬件和云服务供应商来说无疑很有利,但 PyTorch 的核心目的之一就是隐藏让 AI 代码在硬件上运行所遇到的各种麻烦。我们仍需等待观察:是否正如 Amazon 所承诺的那样,将 Nvidia 逼到如此地步能给开发者带来更多选择且更经济的方案,还是只会带来更多的配置难题。
无论如何,如果亚马逊能够成功将 PyTorch与 Nvidia 彻底分离,这对这家 GPU 巨头的影响将会远大于仅仅应对芯片竞争对手的情况。正如 Brace 所说:“真正的关键在于消除了那些阻碍开发者做出真实选择的束缚。”
