أعلنت Liquid AI للتو عن Liquid RIPL، اختصاراً لـ Real-time Inference Pipeline. RIPL محرك منخفض زمن الاستجابة يخدم نماذج Liquid Foundation Models (LFMs) داخل مسار طلبات حي. يعيد استجابات مولدة كاملة من البداية إلى النهاية في أقل من 50 ms. ويزعم أيضاً أن زمن الاستجابة يظل ثابتاً مع وصول حركة المرور باستمرار عند الحمل الأقصى. للمطورين، الرسالة بسيطة. استبدل أشجار التعزيز التدرّجي بنموذج توليدي، واحتفظ بميزانية زمن الاستجابة.
TL;DR
- المحرك: يخدم نماذج LFM2.5 من 230M إلى 2.6B معامل
- يعمل على: نشرات المؤسسات على وحدات المعالجة الرسومية NVIDIA H100 وH200 وB200 وRTX PRO 6000. استخدمت الاختبارات المعيارية شريحة B200 واحدة.
- الأداء: زمن استجابة p95 أقل بمقدار 5.6 إلى 28.4 مرة من Qwen3.5 على vLLM، وفق اختبارات Liquid الخاصة.
- الأفضل: حقق LFM2.5-1.2B زمن p95 بقيمة 155.8 ms مقابل 4,431 ms لـ Qwen3.5-0.8B، فجوة بمقدار 28.4 مرة (256 مدخلاً، 128 مخرجاً).
- الأسوأ: حقق LFM2.5-2.6B تحسناً بمقدار 5.6 مرة فقط (449.1 ms مقابل 2,499 ms). الفوقية الأقل من 50 ms تفشل في الطلبات الأطول.
ما المشكلة التي تحلها Liquid RIPL؟
معظم أنظمة الخدمة تستهدف الدفعات الكبيرة والمهام الوكيلة الطويلة. عدة ثوانٍ لكل طلب أمر مقبول هناك. أما ترتيب نتائج البحث وفحوصات الاحتيال والموافقة على المدفوعات فتحتاج إلى إجابات في أجزاء من الثانية. تجادل Liquid AI بأن الفرق تلجأ افتراضياً إلى النماذج الكلاسيكية لهذه المسارات لأن خدمة نماذج LLM بطيئة جداً. RIPL مبني لإزالة هذه المقايضة.
كيف يعمل RIPL؟
تصف Liquid AI أن RIPL يحسّن المسار الكامل، من وصول الطلب إلى إكمال الاستجابة. في عدة أحمال عمل، رسمت Liquid AI النموذج نفسه، LFM2.5-350M، على vLLM وعلى RIPL. يقع خط p95 الخاص بـ RIPL في كل حالة أسفل خط vLLM بمسافة واضحة. هذا يعزل جزءاً من المكسب بالمحرك نفسه، وليس فقط بمعمارية النموذج.
نماذج LFM2.5 نفسها هجينة. يحتوي LFM2.5-1.2B-Instruct على 16 طبقة: 10 كتل تلافيفية مزدوجة البوابات و6 كتل GQA. LFM2.5-2.6B يحتوي على 30 طبقة: 22 كتلة تلافيفية و8 كتل GQA.
اختبارات RIPL المعيارية: ما مدى سرعته مقابل vLLM؟
قاست Liquid زمن الاستجابة الكلي p95 في ظل وصولات بواسون بحلقة مفتوحة على شريحة B200 واحدة. عملت LFMs على RIPL. أما خطوط الأساس، بما فيها MiniCPM5 وGranite 4.2، فعملت على vLLM.
| حمل العمل | الحمل | LFM2.5 على RIPL (p95) | Qwen3.5 على vLLM (p95) | فجوة |
|---|---|---|---|---|
| فئة 1B، 32 داخلاً ← 32 خارجاً | 1,000 طلب/ثانية | 34.6 مللي ثانية (1.2B) | 498 مللي ثانية (0.8B) | 14.4x |
| فئة 1B، 256 داخلاً ← 128 خارجاً | 400 طلب/ثانية | 155.8 مللي ثانية (1.2B) | 4,431 مللي ثانية (0.8B) | 28.4x |
| فئة 2B، 32 إدخال ← 32 إخراج | 1,000 طلب/ثانية | 76.4 مللي ثانية (2.6B) | 586.8 مللي ثانية (2B) | 7.7x |
| فئة 2B، 256 إدخال ← 128 إخراج | 300 طلب/ثانية | 449.1 مللي ثانية (2.6B) | 2,499 مللي ثانية (2B) | 5.6x |
المصدر: مدونة Liquid AI، الشكل 2. مُبلَّغ عنه ذاتيًا.
كما رسمت Liquid AI أيضًا 6 أحمال عمل في الوقت الفعلي مقابل ميزانيات ثابتة:
- إعادة صياغة استعلامات Adtech: 32 إدخال، 32 إخراج، ميزانية 50 مللي ثانية، LFM2.5-350M.
- تصنيف نوايا البحث: 128 إدخال، 1 إخراج، ميزانية 20 مللي ثانية.
- إعادة ترتيب نتائج البحث: 1k إدخال، 1 إخراج، ميزانية 30 مللي ثانية.
- تقييم مخاطر المدفوعات: 512 إدخال، 16 إخراج، ميزانية 50 مللي ثانية، LFM2.5-1.2B.
- قرارات الائتمان: 8k إدخال، 64 إخراج، ميزانية 150 مللي ثانية.
- نص بديل للصور: صورة 512×512 و64 رمزًا إدخالًا، 16 إخراجًا، ميزانية 100 مللي ثانية، LFM2.5-VL-450M.
مقارنة مع المنافسين
| الميزة | LFM2.5-1.2B على RIPL | Qwen3.5-0.8B على vLLM | LFM2.5-2.6B على RIPL | Qwen3.5-2B على vLLM |
|---|---|---|---|---|
| المعاملات | 1.17B | 0.8B | 2.69B | 2B |
| السياق | 32,768 | 262,144 | 131,072 | 262,144 |
| الرخصة (الأوزان) | LFM Open License v1.0 | أباتشي 2.0 | رخصة LFM المفتوحة الإصدار 1.0 | أباتشي 2.0 |
| الطريقة (Modality) | نص | نص وصورة وفيديو | نص | نص وصورة وفيديو |
| الوضع الافتراضي | توجيهي (Instruct) | بدون تفكير | يستدل دائمًا | بدون تفكير |
| محرك التقديم | RIPL (للمؤسسات) | vLLM (مفتوح المصدر) | RIPL (للمؤسسات) | vLLM (مفتوح المصدر) |
| p95، 32→32 | 34.6 مللي ثانية | 498 مللي ثانية | 76.4 مللي ثانية | 586.8 مللي ثانية |
| p95، 256→128 | 155.8 مللي ثانية | 4,431 مللي ثانية | 449.1 مللي ثانية | 2,499 مللي ثانية |
هل يُستخدم RIPL في الإنتاج؟
نعم، وفقًا لشركة Liquid AI. شوبيفاي (Shopify) تنشر نماذج LFM عبر أحمال تجارية حساسة لزمن الاستجابة. في تحسين البحث، تعمل نماذج LFM باستدلال أقل من 20 مللي ثانية على حركة الإنتاج. ووفقًا لمدونة Liquid AI، تستخدم النماذج عدد معاملات أقل بنحو 50% من البدائل البديلة وتوفر استدلالًا أسرع بمقدار 2 إلى 10 أضعاف.
النقاط الرئيسية
- RIPL هو محرك Liquid AI للنماذج اللغوية الكبيرة داخل مسارات الطلبات الحية.
- تدّعي Liquid أن زمن الاستجابة p95 أقل بمقدار 5.6 إلى 28.4x من Qwen3.5 على vLLM.
- تُظهر اختبارات النموذج نفسه (LFM2.5-350M) أن RIPL نفسه يتفوق على vLLM.
- يشغّل Shopify نماذج LFMs بزمن استجابة أقل من 20 مللي ثانية في بحث الإنتاج.
- خاص بالمؤسسات فقط، مغلق، وجميع الأرقام مُبلَّغ عنها ذاتيًا.
تحقق من إعلان RIPL، جرّب حاسبة زمن الاستجابة، وشاهد بطاقات نموذج LFM2.5.. كل الفضل يعود إلى باحث هذا المشروع. كما يمكنك بكل حرية متابعتنا على تويتر ولا تنسَ الانضمام إلى مجتمع 150k+ على Reddit للتعلم الآلي وشارك في نشرتنا البريدية. انتظر! هل أنت على تيليجرام؟ يمكنك الآن الانضمام إلينا على تيليجرام أيضًا.
هل تحتاج إلى شراكة معنا للترويج لمستودع GitHub الخاص بك أو صفحتك على Hugging Face أو إصدار منتجك أو ندوة عبر الإنترنت وغير ذلك؟ تواصل معنا
المقال Liquid AI تطلق RIPL، محرك استدلال في الوقت الفعلي لأجهزة LFMs بأقل من 50 مللي ثانية ظهر لأول مرة على MarkTechPost.