월요일에 아마존 웹 서비스는 TorchNeuron라는 도구를 출시했습니다. 이 도구를 통해 AI 스타트업들은 아마존의 AI 칩인 Trainium에 자신의 AI 애플리케이션을 쉽게 구동할 수 있습니다. 이로써 아마존은 또한 Nvidia가 AI 애플리케이션의 기본 하드웨어 선택지가 되고, AI 하드웨어 공급업체로서의 입지를 강화하는 데 도움이 된 소프트웨어적 우위에 직접적인 도전을 하고 있습니다.
TorchNeuron은 개발자가 AI 모델을 구축, 훈련 및 실행하는 데 사용하는 무료 오픈소스 툴킷인 PyTorch와 함께 작동합니다. 아마존에 따르면, PyTorch로 작성된 AI 애플리케이션을 Trainium에서 실행하려면 단 한 줄의 설정만 변경하면 되며 코드 재작성은 필요하지 않습니다.
아마존에 따르면 AI 애플리케이션의 약 85%가 PyTorch로 작성되어 있습니다. 페이스북이 처음으로 이를 개발했지만, 2022년부터는 오픈소스 프로젝트를 관리하는 리눅스 재단의 일부가 되었습니다. Nvidia는 수년간 CUDA 소프트웨어 — 애플리케이션이 Nvidia GPU 및 기타 하드웨어에서 실행될 수 있도록 하는 소프트웨어 인프라 — 이 PyTorch로 작성된 AI 애플리케이션을 원활하게 지원하도록 보장해 왔습니다. 그 결과, Nvidia의 하드웨어는 이제 툴킷에 깊이 통합되어 기본적으로 자동으로 작동합니다.
TorchNeuron은 PyTorch에서 변형된 것이므로, PyTorch를 알고 있는 개발자들은 이미 이를 사용하는 방법을 알고 있습니다. Amazon이 플랫폼에 자신의 칩을 쉽게 도입하려는 첫 번째 회사는 아닙니다. PyTorch 사용자는 간단한 설정 변경만으로 자신의 애플리케이션을 AMD GPU나 Apple의 칩으로 포팅할 수 있습니다.
하지만 아마존은 Trainium으로 전환하는 것이 단순히 쉬운 것만이 아니라, AI 스타트업들이 아마존의 전체 클라우드를 이용할 수 있게 해준다고 주장합니다. 당연히 AWS는 이를 네클라우드를 사용하는 것보다 스타트업에게 더 좋은 선택이라고 주장합니다. 그 중 많은 클라우드는 Nvidia와 Coreweave, Nebius, Firmus와 같은 하드웨어와 연관되어 있습니다.
“당신은 AWS를 기반으로 구축하고 있습니다. 단일 목적의 컴퓨팅 제공업체에만 의존하거나 그 주변의 모든 것을 만들려고 애쓰는 것이 아닙니다,”라고 AWS Annapurna Labs의 기술 소프트웨어 부사장인 콜린 브레이스가 TechCrunch에 이메일로 말했습니다. “AWS에서는 프로토타입에서 생산까지의 인프라가 이미 갖춰져 있어, 창업자가 필요할 때 빠르게 움직이고 규모를 확대할 수 있습니다.”
AWS는 동일한 칩이 학습(AI 모델 훈련)과 인출(완성된 모델을 실제로 사용하여 사용자의 질문에 답함) 모두를 처리할 수 있으며, 스타트업이 필요로 하는 클라우드 인프라와 긴밀하게 통합되어 있기 때문에, AWS가 가장 저렴한 토큰당 가격을 제공하지 않더라도 그 클라우드는 스타트업들에게 비용을 절감시켜 줄 것이라고 말합니다.
“Trainium의 가치는 가격 대비 성능이며, 훈련과 인출 모두를 위한 단일 플랫폼이라는 점도 경제적 이점을 높여줍니다”라고 브레이스는 말했습니다. “Deepgram을 보세요 — 그들은 Trainium로 전환했으며 네이티브 PyTorch를 사용하고, 지원도 잘 되며, 생산급 정확도로 달러당 70% 더 많은 오디오를 처리합니다.” Deepgram 는 AI 음성 앱 제공업체로, ElevenLabs의 경쟁자입니다.
하지만 아마존은 PyTorch 애플리케이션 개발자들이 자연스럽게 클라우드로 이동할 수 있는 쉬운 방법만 제공하는 데 만족하지 않습니다.
아마존은 또한 PyTorch를 Nvidia에 대한 자동 중심화를 줄이도록 추진하고 있으며, 이를 위해 필요한 코드를 주요 PyTorch 프로젝트에 기여할 것이라고 밝혔습니다. 새로운 도구를 발표하는 블로그 글에서 회사는 다음과 같이 썼습니다:
“아마존의 접근 방식은 자사 하드웨어를 넘어서까지 확장됩니다. 이 회사는 PyTorch 자체에 변화를 제공하고, PyTorch 커뮤니티와 협력하여 프레임워크를 특정 칩과 연결하는 코드를 제거합니다. 목표는 개발자 커뮤니티 전체에게 PyTorch를 하드웨어와 무관한 형태로 만들는 것이며, Trainium 사용자만이 아니라 모든 사용자가 그렇게 될 수 있도록 하는 것입니다.”
이러한 전략은 엔비디아와 경쟁하는 하드웨어 및 클라우드 서비스를 판매하는 사람들에게 분명히 좋은 방법이지만, 파이토치의 목적 중 하나는 AI 코드가 하드웨어에서 실행될 때 발생하는 모든 번거로운 문제들을 숨기는 것입니다. 아마존이 약속한 대로 엔비디아를 더 멀리 밀어붙이는 것이 개발자들에게 더 많은 선택과 더 저렴한 옵션을 제공할지, 아니면 단지 더 많은 설정의 어려움만을 가져올지는 지켜보아야 합니다.
어쨌든, 아마존이 PyTorch를 Nvidia와 깊게 분리하는 데 성공한다면, 이는 GPU 대기업에게 단순히 칩 경쟁자들과의 관계를 관리하는 것보다 훨씬 큰 영향을 미칠 수 있습니다. 브레이스가 말했듯이, “진정한 이야기는 개발자들이 실제 선택권을 갖지 못하게 했던 고정된 관계를 끊는 것이입니다.”