Zusätzlich zu unseren neuen Ergebnissen von DeepSeek V4.1 Flash fügen wir AMD’s MI355X hinzu zu AA-AgentPerf für Kimi K3, GLM-5.2/5.3 und DeepSeek V4 Pro – und vergleichen es mit unseren neuesten Ergebnissen für NVIDIA-Systeme bei Arbeitslasten für Code-Agenten.
AA-AgentPerf ist unser Benchmark für die Leistung von Agenten-Inferenzen. Er wiederholt echte Agenten-Kodier-Sitzungen, einschließlich der Speicherung von Prompts und Verzögerungen bei Toolanrufen, um eine realistische Messung der Inferenzleistung in den täglichen Agenten-Arbeitslasten zu ermöglichen.
Das MI355X ist AMDs Flaggschiff-Accelerator in der MI350-Serie, der im Juni 2025 mit seiner CDNA 4-Architektur veröffentlicht wurde. Es verfügt über dieselben 288GB HBM3E-Ressourcen à 8TB/s wie das NVIDIA B300, etwa 10 PFLOPS dichtes FP4-Rechenleistung (verglichen mit ~13,5 für das B300 und ~9 für das B200) und eine Leistung des Chips bis zu 1.400W. Alle unsere Ergebnisse mit dem MI355X werden mit ROCm, nächtlichem Builds sowie vLLM- und SGLang-Versionen erzielt.
Wir präsentieren die Ergebnisse für das AMD MI355X auf einem einzigen 8-GPU-Node für alle vier ausgewählten AA-AgentPerf-Modelle. Die Ergebnisse auf unserer Rangliste sind aktuell und werden im Laufe der Zeit weiter verbessert – wir freuen uns darauf, die Verbesserungen im Software-/Dienstleistungsbereich auf AMD-Hardware zu verfolgen.
Erste Ergebnisse für MI355X:
➤ Seine stärkste Leistung zeigt sich bei DeepSeek V4 Pro 0813, wo das MI355X einen Durchsatz pro MW um etwa 15% bis 40% höher als das B200 hat, bei 35 bis 75 tok/s pro Benutzer – vermutlich dank der 288GB HBM pro GPU (das B200 hat 180GB), auf einem 1,6T-Parametermodell.
➤ Auf DeepSeek V4.1 Flash liegt das MI355X in Übereinstimmung mit NVIDIA Blackwell für einen einzelnen Agenten bei 647 tok/s (B300 bei 652, B200 bei 669), aber ist zurückgehend, wenn die Last steigt, bis zu ~128M Tokens/s pro MW bei 100 tok/s pro Benutzer im Vergleich zu ~193M für B200 und ~220M für B300
➤ Auf GLM-5.2/5.3 verfügt das MI355X über eine Nachfolgeleistung für B200 und B300 bei 100 tok/s pro Benutzer, mit ~26M Tokens/s pro MW gegenüber ~42M und ~44M
➤ Bei Kimi K3 (2,8T-Parameter) erreicht die MI355X ~8M Tokens pro Sekunde pro MW bei 50 Tokens pro Nutzer, gegenüber ~24M für B300 unter Verwendung von NVIDIAs multi-node-Konfigurationen, und 152 Tokens pro Sekunde für einen einzelnen Agenten gegenüber 235