Además de los nuevos resultados de DeepSeek V4.1 Flash, estamos añadiendo el AMD MI355X a AA-AgentPerf para Kimi K3, GLM-5.2/5.3 y DeepSeek V4 Pro, comparándolo con nuestros últimos resultados para sistemas NVIDIA en cargas de trabajo de agentes de codificación.
AA-AgentPerf es nuestro benchmark de rendimiento de inferencia de agentes. Reproduce sesiones de codificación de agentes reales, incluyendo el almacenamiento del prompt y los retrasos en las llamadas a herramientas, para ofrecer una medida realista del rendimiento de inferencia en los trabajos diarios de agentes.
El MI355X es el acelerador estrella de AMD en la serie MI350, lanzado en junio de 2025 con su arquitectura CDNA 4. Tiene los mismos 288GB de HBM3E a 8TB/s que el B300 de NVIDIA, alrededor de 10 PFLOPS de cálculo FP4 denso (en comparación con ~13.5 para el B300 y ~9 para el B200) y una potencia de placa de hasta 1,400W. Todos nuestros resultados con el MI355X utilizan ROCm, builds nocturnos y desarrollo de vLLM y SGLang.
Estamos presentando los resultados del AMD MI355X en un único nodo de 8 GPU, para todos los cuatro modelos destacados de AA-AgentPerf. Los resultados en nuestro tablero están en tiempo real y evolucionarán con el tiempo; esperamos seguir de cerca las mejoras en el software y los servicios en el hardware AMD.
Resultados iniciales sobre MI355X:
➤ Su resultado más destacado se observa en DeepSeek V4 Pro 0813, donde el MI355X proporciona un rendimiento de ~15% a 40% mayor por MW que el B200, con 35 a 75 tok/s por usuario, probablemente gracias a sus 288GB de HBM por GPU (el B200 tiene 180GB), en un modelo de parámetros de 1.6T
➤ En DeepSeek V4.1 Flash, el MI355X está alineado con NVIDIA Blackwell para un único agente a 647 tok/s (B300 a 652, B200 a 669), pero se queda atrás a medida que aumenta la carga, alcanzando ~128M tokens/s por MW a 100 tok/s por usuario, frente a ~193M para B200 y ~220M para B300
➤ En GLM-5.2/5.3, MI355X supera a B200 y B300 a 100 tok/s por usuario, con ~26M tokens/s por MW, frente a ~42M y ~44M respectivamente
➤ En Kimi K3 (parámetros de 2.8T), MI355X sirve aproximadamente 8M tokens/s por MW a un ritmo de 50 tokens/s por usuario, frente a aproximadamente 24M para B300 utilizando las configuraciones multi-nodo de NVIDIA, y 152 tokens/s para un único agente frente a 235