IT之家 Noticia del 24 de octubre: el CEO de Amazon, Andy Jassy, considera que los costos de inferencia de la IA siguen siendo demasiado altos;para que la IA se aplique ampliamente en el software empresarial, los costos aún deben reducirse a aproximadamente una décima parte de los actuales, y los chips desarrollados por la propia Amazon podrían ayudar a reducirlos.
Jassy reveló en una entrevista publicada el día 23, hora local, por la firma de capital de riesgo a16z: «En mi opinión, para que la IA tenga la aplicación más amplia posible, los costos de inferencia siguen estando un orden de magnitud por encima de lo necesario».
Amazon planea invertir este año 220.000 millones de dólares (nota de IT之家: al tipo de cambio actual, unos 1,47 billones de yuanes) en gastos de capital, y aun así no logra construir infraestructura suficiente para satisfacer la demanda de IA. Jassy reveló que la capacidad de cómputo principal de 2026 está prácticamente agotada, la mayor parte de la de 2027 ya ha sido reservada por clientes, y una parte considerable de la de 2028 también se ha vendido. En su opinión, con una demanda de mercado tan fuerte, aunque Amazon invierta muchos más fondos, no sería un desperdicio.
Jassy comparó la demanda de IA con una «mancuerna»: en un extremo están los laboratorios de IA, que consumen una capacidad de cómputo «sin precedentes»; en el otro, los clientes empresariales, que utilizan la IA principalmente para tareas concretas como atención al cliente y detección de fraude.
Lo verdaderamente aún sin desarrollar es el mercado intermedio, es decir, los diversos tipos de software que las empresas usan a diario. Estos software aún no han incorporado la IA de forma generalizada, pero Jassy cree que la mayor demanda de IA en el futuro podría provenir precisamente de este ámbito.
El principal factor que limita la adopción de la IA por las empresas es el costo de la inferencia. Cada vez que un modelo de IA responde una pregunta o completa una tarea, consume capacidad de cómputo. Si los beneficios de incorporar IA no bastan para compensar los mayores gastos operativos, las empresas tienen pocos incentivos para reestructurar su software existente.
Jassy lo comparó con la experiencia de Amazon de hace años. En aquel entonces, Intel dominaba el mercado de procesadores para servidores en la nube. Amazon quería obtener mayor rendimiento de cómputo al mismo costo, pero le resultó difícil convencer a Intel de priorizar esa demanda, y finalmente decidió desarrollar por sí misma el procesador Graviton. En su opinión, «la misma historia se está repitiendo en el ámbito de la IA».
El mercado de chips de IA está actualmente dominado por Nvidia. Amazon, por su parte, lanzó su chip propio Trainium, con la esperanza de ofrecer a los clientes una opción de menor costo. En la entrevista, Jassy no mencionó directamente a Nvidia, y solo subrayó que el proveedor dominante del mercado sigue siendo un socio importante de Amazon.
Según se informó, la relación calidad-precio de Trainium esaproximadamente un 30% a 40% superior a la de procesadores similares; con el mismo dinero, los clientes obtienen más capacidad de cómputo. «Nuestro negocio de chips desempeña un papel importante en la reducción de los costos de inferencia».
Amazon reveló anteriormente que Trainium ya ha recibido compromisos de ingresos futuros por más de 225.000 millones de dólares (al tipo de cambio actual, unos 1,5 billones de yuanes), incluidos acuerdos alcanzados con Anthropic y OpenAI.