El lunes, Amazon Web Services lanzó una herramienta llamada TorchNeuron que permite a las startups de IA transferir fácilmente sus aplicaciones de IA al chip de IA de Amazon, Trainium. De este modo, Amazon también intenta directamente superar la ventaja del software que ha ayudado a Nvidia a convertirse en la opción predeterminada para las aplicaciones de IA, y ha impulsado su ascenso como proveedor de hardware de IA de elección.
TorchNeuron funciona con PyTorch, un kit de herramientas gratuito y de código abierto que los desarrolladores utilizan para construir, entrenar y ejecutar modelos de IA. Permite que las aplicaciones de IA escritas con PyTorch se ejecuten en Trainium cambiando solo una línea de configuración, según Amazon: no es necesario reescribir el código.
Amazon dice que aproximadamente el 85% de las aplicaciones de IA está escrito con PyTorch. Facebook lo desarrolló originalmente, pero desde 2022 forma parte de la Fundación Linux, que mantiene proyectos de código abierto. Nvidia ha invertido años en asegurar que su software CUDA —la infraestructura de software que permite que las aplicaciones se ejecuten en GPUs y otro hardware de Nvidia— soporte sin problemas las aplicaciones de IA escritas con PyTorch. Como resultado, el hardware de Nvidia está ahora profundamente integrado en el conjunto de herramientas, esencialmente por defecto.
TorchNeuron está adaptado de PyTorch, por lo que los desarrolladores que conocen PyTorch ya saben cómo usarlo. Amazon no es la primera empresa que intenta integrar fácilmente sus chips en la plataforma. Los usuarios de PyTorch también pueden portar sus aplicaciones a GPUs AMD o incluso a los chips de Apple con un simple cambio de configuración.
Sin embargo, Amazon argumenta que migrar a Trainium no es solo fácil; también permite a las startups de IA acceder a todo el servicio en la nube de Amazon. Como era de esperar, AWS afirma que esta es una opción mejor para las startups que usar neoservicios en la nube, muchos de los cuales están vinculados a Nvidia y su hardware, como Coreweave, Nebius y Firmus.
“Estás construyendo en AWS. No estás apostando por un proveedor de computación con un único propósito y tratando de construir todo lo demás alrededor de él”, dijo Colin Brace, Vicepresidente de Tecnología y Software en AWS Annapurna Labs (la unidad que fabrica los chips personalizados de Amazon), a TechCrunch por correo electrónico. “En AWS”, continuó, “la infraestructura para pasar del prototipo a la producción ya está disponible, lo que permite a los fundadores avanzar rápidamente y escalar cuando lo necesiten”.
AWS dice que, debido a que el mismo chip se utiliza tanto para el entrenamiento (enseñar al modelo de IA) como para la inferencia (poner en funcionamiento el modelo terminado, como cuando responde a una pregunta del usuario), y está estrechamente integrado con la infraestructura en la nube que necesitan las startups, su nube les ahorrará dinero, incluso si AWS no ofrece el precio más barato por token.
“El valor de Trainium es su precio-rendimiento, además del hecho de que es una plataforma para tanto entrenamiento como inferencia, lo que mejora la economía en un volumen de trabajo completo”, dijo Brace. “Mire a Deepgram: se pasaron a Trainium utilizando PyTorch nativo, tienen soporte y procesan 70% más audio por dólar con precisión de nivel de producción”. Deepgram es un proveedor de aplicaciones de voz de IA, competidor de ElevenLabs.
Pero Amazon no se limita a proporcionar a los desarrolladores de aplicaciones de PyTorch una opción sencilla para pasar a su nube.
Amazon también dice que está promoviendo que PyTorch no esté centrado automáticamente en Nvidia, y que contribuirá el código necesario para lograrlo al proyecto principal de PyTorch. En el artículo de blog que anuncia la nueva herramienta, la empresa escribió:
“El enfoque de Amazon se extiende más allá de su propio hardware. La compañía contribuye con cambios en la parte superior hacia PyTorch mismo, trabajando con la comunidad de PyTorch para eliminar el código que vincula el framework a chips específicos. El objetivo es hacer que PyTorch sea más independiente del hardware para toda la comunidad de desarrolladores, no solo para los usuarios de Trainium”.
Mientras que tal táctica es sin duda buena para aquellos que venden hardware y servicios en la nube que compiten con Nvidia, uno de los objetivos de PyTorch es ocultar todas las dificultades que surgen al hacer que el código de IA funcione en hardware. Tendremos que esperar y ver si empujar a Nvidia tan lejos brinda a los desarrolladores más opciones y opciones más económicas, como promete Amazon, o simplemente más problemas de configuración.
De cualquier manera, si Amazon logra desacoplar profundamente PyTorch de Nvidia, esto podría tener consecuencias mucho más importantes para el gigante de los GPU que simplemente lidiar con competidores de chips. Como dijo Brace: “La verdadera historia es la eliminación del vínculo que impide a los desarrolladores tomar una verdadera opción”.