Google · X

Gemini 4 Argon también está acelerando nuestros modelos abiertos @GoogleGemma, haciéndolos casi tres veces más rápidos.

Gemini 4 Argon también está acelerando nuestros modelos abiertos @GoogleGemma, haciéndolos casi tres veces más rápidos. En solo unos días, Argon optimizó Gemma 4 E2B para lograr una aceleración de velocidad de inferencia…

Gemini 4 Argon también está acelerando nuestros modelos abiertos @GoogleGemma, haciéndolos casi tres veces más rápidos.

En solo unos días, Argon optimizó Gemma 4 E2B para lograr un aceleramiento de velocidad de inferencia del 2.85x en un A100 mediante vLLM, pasando de ~37,900 a más de 108,000 tokens por segundo con paridad de tokens del 100% y sin disminución en la calidad.

Aquí está ese aceleramiento en acción, generando 64 simulaciones en vivo de Python a la vez ↓

https://x.com/osanseviero/status/2110096066293207535/video/1

Fuente original

Google · X

Notas sobre el contenido

La publicación original y los derechos pertenecen a la fuente.

Traducción automática · Consulte el original