대형 모델을 클라우드에서 데이터 센터로 다시 가져오는 작업을, AMD는 이번에는 기업 개발자들을 위한 서비스를 제공합니다. 현지 시간으로 11월 9일, AMD는 Spectro Cloud와 협력하여 기업급 AI 보조 프로그래밍 플랫폼 Instinct Coder 355를 출시했습니다. 이 플랫폼은 GLM-5.3 추론을 로컬에서 실행할 수 있으며, 선행 모델에 근접한 98%의 성능을 자랑합니다.
8장의 카드로 프로그래밍 서버를 지탱한다
이 시스템의 하드웨어적 강점은 다음과 같습니다: 핵심에는 8개의 AMD Instinct MI355X 가속기와 2개의 64코어 EPYC 9575F "Zen 5" 프로세서가 있으며, 3TB DDR5-6400 메모리와 총 63.36TB의 소트론 스토리지도 포함됩니다. 델과 슈퍼마이크로는 다양한 사양의 전체 시스템 버전을 제공하며, 기업은 데이터 센터의 관습에 맞게 선택할 수 있습니다. 단일 노드에서는 최대 85명의 개발자가 서비스를 받을 수 있으며, 그 중 50명은 동시에 온라인으로 코딩할 수 있어 작은 팀의 연산 요구량을 한 기계 안에 모두 담아낼 수 있습니다.
기본적으로 연동하지 않으며, 데이터는 로컬에 저장합니다.
실제로 기업을 매혹하는 것은 "외출하지 않아도 된다"는 설정입니다. Spectro Cloud은 이 시스템에 PaletteAI Inference Launchpad 관리 소프트웨어를 제공하여, 기본적으로 클라우드 API가 아닌 로컬 컴퓨팅력을 사용하도록 합니다. 민감한 코드와 데이터는 외부로 전송할 필요가 없습니다. 비용과 규정 준수의 압박 속에서, 추론 작업을 자체 실험실로 옮기는 것이 대기업들이 새로운 방향으로 나아가고 있는 추세입니다. AMD는 분명히 NVIDIA와 다양한 클라우드 제공업체들로부터 이익을 얻고자 하는 것입니다.