Google · X

Gemini 4 Argon 还在加速我们的 @GoogleGemma 开放模型——使其速度提升近三倍。

谷歌宣布Gemini 4 Argon优化了Gemma 4 E2B,在A100上经vLLM实现2.85倍推理加速,吞吐量从约37,900升至超108,000 tokens每秒。数据为谷歌自报,尚待独立验证。

Gemini 4 Argon 还在加速我们的 @GoogleGemma 开放模型——使其速度提升近三倍。

短短几天内,Argon 优化了 Gemma 4 E2B,通过 vLLM 在 A100 上实现了 2.85 倍的推理加速,从约 37,900 跃升至超过 108,000 tokens 每秒,同时保持 100% 的 token 一致性和零质量损失。

以下是该加速的实际运行效果,同时生成 64 个实时 Python 模拟 ↓

https://x.com/osanseviero/status/2110096066293207535/video/1

原始出处

Google · X

内容说明

原始发布及相关权利归来源方。

机器翻译 · 请以原文为准