새로운 DeepSeek V4.1 Flash 결과에 더해, AMD의 MI355X를 AA-AgentPerf에 Kimi K3, GLM-5.2/5.3, DeepSeek V4 Pro 대상으로 추가하여, 코딩 에이전트 워크로드에서 NVIDIA 시스템에 대한 우리의 최신 결과와 비교합니다.
AA-AgentPerf는 우리의 에이전틱 추론 성능 벤치마크입니다. 프롬프트 캐싱과 도구 호출 지연을 포함한 실제 에이전틱 코딩 세션을 재현하여, 일상적인 에이전틱 워크로드에서의 추론 성능을 현실적으로 측정합니다.
MI355X는 2025년 6월 CDNA 4 아키텍처 기반으로 출시된 AMD MI350 시리즈의 플래그십 가속기입니다. NVIDIA의 B300과 동일한 8TB/s의 288GB HBM3E를 갖추고 있으며, 약 10 PFLOPS의 dense FP4 연산 성능(B300은 ~13.5, B200은 ~9)과 최대 1,400W의 보드 전력을 제공합니다. 모든 MI355X 결과는 ROCm nightly 및 vLLM과 SGLang의 dev 빌드를 사용했습니다.
우리는 단일 8-GPU 노드에서 네 개의 소개된 AA-AgentPerf 모델 전체에 대해 AMD MI355X의 결과를 처음 공개합니다. 리더보드의 결과는 실시간이며 시간이 지남에 따라 변화할 것입니다. AMD 하드웨어에서의 소프트웨어/서빙 개선을 지속적으로 추적하기를 기대합니다.
MI355X의 초기 결과:
➤ 가장 강력한 결과는 DeepSeek V4 Pro 0813에서 나타났으며, 사용자당 35~75 tok/s 구간에서 MI355X는 B200 대비 MW당 ~15%에서 40% 더 많은 처리량을 제공하며, 이는 1.6T 파라미터 모델에서 GPU당 288GB의 HBM(B200은 180GB) 덕분일 가능성이 높습니다
➤ DeepSeek V4.1 Flash에서 MI355X는 단일 에이전트 기준 647 tok/s로 NVIDIA Blackwell과 비슷하지만(B300은 652, B200은 669), 부하가 증가하면 뒤처지며, 사용자당 100 tok/s에서 B200의 ~193M, B300의 ~220M에 비해 MW당 ~128M tokens/s에 도달합니다
➤ GLM-5.2/5.3에서 MI355X는 사용자당 100 tok/s에서 B200과 B300에 뒤처지며, 각각 ~42M, ~44M에 비해 MW당 ~26M tokens/s를 기록합니다
➤ Kimi K3(2.8T 파라미터)에서 MI355X는 사용자당 50 tok/s에서 NVIDIA의 멀티노드 구성을 사용하는 B300의 ~24M에 비해 MW당 ~8M tokens/s를 제공하며, 단일 에이전트 기준으로는 235 tok/s에 비해 152 tok/s를 기록합니다