تسريع نموذجي Gemini 4 Argon يزيد أيضًا من سرعة النماذج المفتوحة الخاصة بـ @GoogleGemma، مما يجعلها أسرع بحوالي ثلاثة أضعاف.
في غضون بضعة أيام فقط، قام Argon بتحسين Gemma 4 E2B بحيث تحقق سرعة استدلال بنسبة 2.85 مرة عبر vLLM على GPU A100، حيث ارتفعت من حوالي 37,900 توكين من الثانية إلى أكثر من 108,000 توكين من الثانية، مع توازن التوكينات بنسبة 100% وانخفاض في الجودة صفر.
إليك التحسين في العمل، حيث يتم إنشاء 64 محاكاة حية بلغة بايثون دفعة واحدة ↓
https://x.com/osanseviero/status/2110096066293207535/video/1