Gemini 4 Argonは、@GoogleGemmaのオープンモデルも高速化しており、ほぼ3倍の速度になりました。
わずか数日で、ArgonはGemma 4 E2Bを最適化し、vLLMを利用してA100上で2.85倍の推論速度向上を実現した。これにより、1秒あたりのトークン数が約37,900から108,000を超え、トークンパラメータは100％の一致であり、品質の低下はない。
実際の速度向上を見てください。一度に64の実行中のPythonシミュレーションを生成します ↓
https://x.com/osanseviero/status/2110096066293207535/video/1