IT지가 10월 24일 소식, 아마존 CEO 앤디 재시는 AI 추론 비용이 여전히 너무 높아,AI를 기업용 소프트웨어에 널리 적용하려면 비용을 현재의 약 10분의 1로 낮춰야 하며, 아마존의 자체 개발 칩이 비용 절감에 도움이 될 것으로 전망됩니다.
재시는 벤처캐피탈 기관 a16z가 현지 시간 23일 공개한 인터뷰에서 "내 생각에 AI를 최대한 널리 보급하려면 추론 비용이 여전히 한 차수나마 높다"고 밝혔습니다.
아마존은 올해 2,200억 달러(IT之家 주: 현재 환율로 약 1.47조 위안)의 자본 지출을 계획하고 있지만, 여전히 AI 수요를 충족할 만큼 충분한 인프라를 구축하지 못하고 있다. 재시는 2026년의 주요 컴퓨팅 파워 공급 물량이 거의 예약 완료되었고, 2027년분의 대부분도 고객에게 예약되었으며, 2028년분도 상당 부분 이미 매진되었다고 밝혔다. 그의 생각으로는 시장 수요가 이토록 왕성하니, 아마존이 더 많은 자금을 투입하더라도 결코 낭비가 아닐 것이다.
재시는 AI 수요를 '바벨'에 비유하며, 한쪽 끝은 AI 연구소로 "전례를 볼 수 없을" 만큼 많은 컴퓨팅 파워를 소모하고, 다른 쪽 끝은 기업 고객으로 주로 고객 서비스, 사기 탐지 등 구체적인 업무에 AI를 활용한다고 말했습니다.
정말 아직 충분히 개발되지 않은 것은 중간 시장, 즉 기업이 일상적으로 사용하는 각종 소프트웨어입니다. 이러한 소프트웨어에는 아직 AI가 널리 도입되지 않았지만, 재시는 향후 가장 큰 AI 수요가 바로 이 분야에서 나올 수 있다고 보고 있습니다.
기업의 AI 도입을 가로막는 주요 요인은 추론 비용입니다. AI 모델은 질문 하나에 답하고 업무 하나를 완료할 때마다 컴퓨팅 파워를 소모해야 합니다. AI 도입으로 얻는 이익이 더 높은 운영 비용을 상쇄하기에 부족하다면 기업은 기존 소프트웨어를 재구성할 동기가 크지 않습니다.
재시는 아마존의 수년 전 경험을 비교 사례로 들었습니다. 당시 인텔이 클라우드 서버 프로세서 시장을 주도하고 있었고, 아마존은 같은 비용으로 더 높은 컴퓨팅 성능을 얻고자 했지만 인텔을 설득해 이 수요를 우선 충족시키기 어려워 결국 자체적으로 Graviton 프로세서를 개발하기로 결정했습니다. 그의 생각에 "같은 이야기가 AI 분야에서 다시 벌어지고 있습니다".
현재 AI 칩 시장은 엔비디아가 지배하고 있습니다. 아마존은 자체 개발한 Trainium 칩을 출시해 고객에게 비용이 더 낮은 선택지를 제공하고자 합니다. 재시는 인터뷰에서 엔비디아를 직접 언급하지 않고 시장의 지배적 공급업체가 여전히 아마존의 중요한 파트너라고 강조했습니다.
소개에 따르면, Trainium의 가성비는동급 프로세서보다 약 30%에서 40% 높아, 고객은 같은 돈으로 더 많은 컴퓨팅 파워를 얻을 수 있으며, "우리의 칩 사업은 추론 비용 절감에서 중요한 역할을 하고 있습니다."
아마존은 이전에 Trainium이 Anthropic 및 OpenAI와의 협약을 포함해 2,250억 달러(현재 환율로 약 1.5조 위안)를 넘는 미래 수익 약정을 확보했다고 밝힌 바 있다.