Les vitesses de DeepSeek V4.1 Flash sur GB300 NVL72 ont augmenté jusqu'à 1.5x tok/s par agent au cours du mois dernier sur AA-AgentPerf, notre benchmark de systèmes de datacenter exécutant des charges de travail de codage agentique réalistes
Cette amélioration provient d'une version plus récente de vLLM, de nouveaux kernels vLLM pour DeepSeek V4.1 sur GB300, de l'autotuning FlashInfer, d'une couverture CUDA graph plus complète, d'un décodage spéculatif ajusté, et de l'exécution du prefill et du decode sur les mêmes GPU dans la configuration Dynamo + vLLM mise à jour de NVIDIA
➤ Vitesses plus rapides : 848 tok/s pour un seul agent, contre 596 auparavant (1.42x)
➤ Débit plus élevé : ~1.6x le débit par GPU à ~80 tok/s par agent