أطلق باحثون من Polymathic AI وجامعة برينستون وUSC ISI وNYU ومعهد Flatiron FlashMap. يستبدل FlashMap في فك التشفير التخميني المسوّد القائم على الانتشار المنفصل بخريطة تدفق مستمرة. يصوغ كتلة كاملة من 16 رمزاً في 1 تمريرة أمامية. تظل الرموز في تلك الكتلة متسقة مع بعضها البعض. على Qwen3-8B، يفريق فريق البحث بتسريع بلا فقدان يصل إلى 6.14 مرة على GSM8K. أوزان المسوّد لـ Qwen3-8B وQwen3-4B متاحة على Hugging Faceمع إضافات vLLM وSGLang.
الخلاصة السريعة
- الحجم: مسوّد بـ 0.5B من المعلمات (500M لـ Qwen3-8B و475M لـ Qwen3-4B)؛ يصوغ كتلًا من K = 16 رمزاً.
- يعمل على: نفس GPU التي يعمل عليها النموذج الهدف. تستخدم تسريعات الورقة 1 وحدة NVIDIA H200 NVL عند تزامن 1، بصيغة bf16.
- الأداء: أسرع مسوّد تم اختباره على Qwen3-8B، أعلى بنحو 7% من DFlash المعاد تدريبه في المتوسط.
- الأفضل: تسريع بمقدار 6.14 مرة على GSM8K عند درجة حرارة 0 (طول القبول 7.69 رمزاً).
- الأسوأ: تسريع بمقدار 2.28 مرة على Alpaca عند درجة حرارة 1. على Qwen3-4B (درجة حرارة 0)، يتأخر عن DFlash في 4 من 9 مهام.
ما هو FlashMap؟
FlashMap هو مسوّد فك تشفير تخميني يحوّل الضوضاء الغاوسية إلى كتلة رموز في 1 خطوة. يقترح مسوّد صغير K من الرموز. ثم يتحقق النموذج الهدف من جميع الرموز الـ K في 1 تمريرة متوازية ويحتفظ بأطول بادئة مطابقة. يظل الناتج مطابقًا تمامًا لما كان سيولده النموذج الهدف.
تعتمد السرعة على أمرين (2): عدد الرموز المسوّدة التي تُقبل، ومدى رخص صياغتها. EAGLE-3 يصوغ بشكل انحداري ذاتي، لذا تزداد التكلفة مع طول الكتلة. DFlash يصوغ الكتلة الكاملة في 1 تمريرة بانتشار الكتل.
لماذا تخسر مسوّدات الانتشار القبول؟
يتنبأ DFlash بكل خانة في الكتلة بشكل مستقل. يسمي فريق البحث هذا التقريب المتحلل. تخيل استمراراً يكون “new york” أو “san diego” باحتمالات متساوية. يقترح مسوّد مستقل “new diego” أو “san york” نصف الوقت. يرفض النموذج الهدف تلك في الخانة 2.
يبني FlashMap على نماذج اللغة ذات خريطة التدفق. كل عيّنة ضوضاء تُعيَّر إلى 1 كتلة كاملة. تختار الضوضاء النمط لكل خانة بشكل مشترك.
كيف يعمل FlashMap؟
الدافع (drafter) هو محوّل انتشاري ديفيوجن من 6 كتل (DiT)، ببُعد تضمين 2048 و16 رأس انتباه. يقرأ الحالات الخفية من الطبقات الهدف 1 و9 و17 و25 و33. مصفوفة التضمين ورأس نمذجة اللغة (LM head) يُنسَخان من الهدف ويبقيان مجمّدين.
التدريب يجري في مرحلتين (2):
- معلّم التدفق: تدفق مستمر فوق كتل رموز one-hot، يُدرَّب بخطأ الإنتروبيا المتقاطع. تتولى إعادة معايرة الزمن التعامل مع مفردات Qwen3 البالغة 151,936 رمزًا.
- طالب خريطة التدفق: التقطير شبه-الزمري يحوّل التدفق إلى مزيل ضوضاء زمني ثنائي (2). يقفز من الضوضاء إلى البيانات في خطوة واحدة (1).
يتدرّب كلا الدافعين على 500K عينة من Open-PerfectBlend. بلغ إجمالي الحوسبة عبر جميع النماذج والاختبارات الاستقصائية نحو 4,600 ساعة GPU على معالجات H200.
كيف يقارن FlashMap على المعايير المرجعية؟
أعد فريق البحث تدريب EAGLE-3 وDFlash على نفس البيانات والإعدادات. تغطي الاختبارات 9 معايير مرجعية في الرياضيات والبرمجة والمحادثة، عند درجتي حرارة 0 و1.
- السرعة: نسخة FlashMap ذات الخطوة 1 هي أسرع دافع في كل مهمة من مهام Qwen3-8B، وعند درجتي الحرارة معًا.
- الدقة: نسخة FlashMap ذات الخطوة 1 تتفوق على DFlash في طول القبول في 15 من 18 إعدادًا. وتمتلك نحو نصف المعاملات.
- أكبر المكاسب في المحادثة: عند درجة حرارة 0، تبلغ المكاسب على DFlash 5.5% في الرياضيات و11.1% في المحادثة.
- وضع الخطوتين (2): يتجاوز طول القبول DFlash في 18 من 18 إعدادًا، بمتوسط 10%.
- EAGLE-3: عند درجة حرارة 1، يمتلك طول قبول أعلى بنسبة 9% لكنه يعمل أبطأ بنسبة 35%.
يكشف اختبار الخلط عما إذا كانت المسودات تستخدم بنية حقيقية بين الرموز. عند خطوتين (2)، يستعيد FlashMap معظم مكسب البنية المشتركة لمعلّم من 16 خطوة. وعند خطوة واحدة (1)، يحتفظ بجزء صغير فقط. أما صياغة 4 عينات ضوضاء كشجرة فقد رفعت التسريع بمتوسط 11%.
مقارنة: FlashMap مقابل غيره من دوافع فك الترميز التخميني
| الميزة | FlashMap | DFlash | EAGLE-3 | DSpark |
|---|---|---|---|---|
| أسلوب الصياغة | خريطة تدفق مستمر، 1 أو 2 تمريرة | انتشار الكتلة، تمريرة 1 | تلقائي التراجع، شجري | شبه تلقائي التراجع |
| الاعتماديات بين الرموز | نعم، مشتركة على مستوى الكتلة | لا، مستقلة لكل خانة | نعم، متتالية | نعم، وحدة متتالية خفيفة |
| حجم المسوّد (Qwen3-8B) | 500M | 1B | 302M (مُدرَّب من جديد، وفق ورقة FlashMap) | غير مُفصح عنه |
| الادعاء الرئيسي (من مصدرها الخاص) | حتى 6.1 ضعفاً | حتى 6.17 ضعفاً على Qwen3-8B | حتى 6.5 ضعفاً | أسرع بنسبة 60 إلى 85% لكل مستخدم مقارنة بـ MTP-1 |
| متوسط التسريع، Qwen3-8B، T=0 (مُطابَق، ورقة FlashMap) | 4.36 ضعفاً | 4.07 ضعفاً | 2.55 ضعفاً | لم يُختبر |
| تسريع GSM8K، T=0 (مُطابَق) | 6.14x | 5.77x | 3.20x | غير مُختبَر |
| ترخيص الأوزان | Apache-2.0 | MIT | Apache-2.0 (الشيفرة) | غير مُفصح عنه |
| الخدمة والتشغيل | Transformers وvLLM وSGLang | Transformers وvLLM وSGLang | SGLang وغيرها | خدمة DeepSeek-V4 |
تُحسب متوسطات التسريع من قبل Marktechpost استنادًا إلى الشكل 1(c) من ورقة FlashMap. تستخدم الصفوف المطابقة الخطوط الأساسية المُعاد تدريبها من المؤلفين.
كيف تنشر FlashMap؟
تحتاج حزمة flashmap فقط إلى torch و transformers>=4.56. ثبّتها باستخدام uv pip install flashmap. استدعاء spec_generate يُشغّل المُسوّد والنموذج الهدف معًا على 1 GPU.
بالنسبة للخدمة، توفر صفحة المشروع يقدم مسارين 2:
- vLLM 0.31: مرّر المُسوّد في
--speculative-configمعnum_speculative_tokensمضبوطًا على 16. - SGLang 0.5.20: استخدم
--speculative-algorithm DSPARKمع مسار المسودة الخاص بـ FlashMap.
اضبط num_steps=2 لمقايضة بعض السرعة مقابل قبول أعلى. للعيّنة أعلى درجة حرارة 0، يحتاج vLLM إلى "draft_sample_method": "probabilistic".
النقاط الرئيسية
- يقوم FlashMap بصياغة 16 رمزاً بشكل مشترك في تمريرة 1 باستخدام خريطة تدفق مستمرة.
- تسريع بلا خسارة يصل إلى 6.14x على Qwen3-8B، باستخدام مُسوّد بحجم 0.5B.
- أسرع من DFlash المعاد تدريبه على جميع معايير Qwen3-8B الـ 9.
- الوضع المكون من خطوتين 2 يحافظ على ثبات معدل القبول عبر الكتلة.
- الأوزان مرخصة Apache-2.0، والكود مرخص MIT، مع إضافات لـ vLLM و SGLang.
اطّلع على الورقة البحثية, صفحة المشروع, مستودع GitHub و أوزان النموذج. كما يمكنكم متابعتنا على تويتر ولا تنسوا الانضمام إلى SubReddit للتعلم الآلي (ML) يضم أكثر من 150k عضو والاشتراك في نشرونا الإخباري. مهلاً! هل أنتم على تلغرام؟ الآن يمكنكم الانضمام إلينا على تلغرام أيضاً.
هل تحتاجون إلى شراكة معنا للترويج لمستودع GitHub الخاص بكم أو صفحتكم على Hugging Face أو إطلاق منتجكم أو ندوتكم التعليمية وغيرها؟ تواصلوا معنا
ظهر المقال باحثو Polymathic AI وبرينستون يطلقون FlashMap، مُسوّداً بخريطة تدفق لفك ترميز LLM أسرع بـ 6.14 مرة أولاً على MarkTechPost.