تم تقديمه في الربيع الماضي، ال Granite Switch يمكّن المشروع من اتباع نهج معياري لتطوير النماذج. الآن Granite Switch 4.1 يمكن للنماذج، المجهزة بمحوّل Decision وأسرع نموذج ASR على لوحة صدارة OpenASR، الانتقال بكفاءة بين الردود باللغة الطبيعية، والقرارات العامة والمتخصصة، ومهام تحويل الكلام إلى نص — وكل ذلك من نقطة نهاية مستضافة واحدة.
على وجه التحديد، Granite-Switch-4.1-8B و -30B تم تكوين النماذج لتشمل:
- جديد قرار aLoRA لاتخاذ القرارات العامة (مثل v1/systemone)،
- متخصص Guardian aLoRA الذي يتفوق، في المتوسط، على Jev 1.13 وMicrosoft-Decision-1 وGPT-Luna-Decisions وClef-Flash في مهام القرار المتعلقة بالسلامة، و
- Granite-Speech-5.0-Turbo-CTC، أسرع نموذج ASR في لوحة صدارة OpenASR، مدمج للاستخدام في مهام التفريغ النصي.
تُدمج هذه التقنيات الثلاث جميعها (مع النموذج الأساسي الكامن تحتها) في نموذج واحد، بحيث تشغل مساحة من ذاكرة VRAM على وحدة معالجة الرسومات تقارب ما كان يشغله النموذج الأساسي وحده. وهذا يعني قدرات أكبر مع عدد أقل من وحدات معالجة الرسومات.
ولأن مهايئات Switch قد بُنيت لتكون فعّالة مع الذاكرة المؤقتة أكواد LoRAs المُفعَّلة, يمكن إعادة استخدام ذاكرة التخزين المؤقت KV (KV cache) الناتجة عن توليد النموذج الأساسي لأي قرارات لاحقة قائمة على المهايئات. وبالاقتران مع مساهمات vLLM الأخيرة لتسريع استدلال محول الرتبة المنخفضة، إضافة إلى مُرمِّز ASR مُتموضع في نفس المكان، يمكن لنماذج Granite Switch 4.1 أن مفتاح التبديل بين طلب محادثة وطلب قرار وطلب منطوقق بسرعات فائقة.
اطّلع على مساحة Speech-to-Decisions على HF حيث يقوم granite-switch-4.1-8b بتحويل الصوت إلى نص، وتوليد الملخصات، وفحص المحتوى الضار، واختبار 15 من علامة أخرى يحددها المستخدم—وكل ذلك يعمل على نقطة نهاية واحدة في الوقت الفعلي.
Granite Libraries: نماذج القرار الأصلية
نماذج القرار ليست جديدة. إصدارنا السابق من Granite Libraries يتضمن مستودعًا من محولات "نماذج القرار" المتخصصة ومحولات مهام متخصصة أخرى يمكن دمجها في نماذج Granite Switch مخصصة. وبينما يركز Jev ونماذج القرار المغلقة الأخرى على العمومية، وجدنا أن العديد من محولات granitelib المتخصصة لدينا يمكنها التفوق على النماذج العامة في مهام التصنيف المتخصصة.
قارن محولات granitelib بنماذج القرار العامة عند تقييمها على مهام التصنيف المتخصصة.
نظرًا لأن المحولات تتشارك KV cache الخاص بالنموذج الأساسي، فإن إضافة متخصصين إلى جانب محول قرار عام لا يكاد يكلف شيئًا. تحصل على تغطية واسعة من النموذج العام ودقة أعلى من المتخصصين في المهام التي تهتم بها.
في "سباق" بين Granite-Switch-4.1-30B (نموذج Granite الأساسي المجمد + 4 محولات aLoRA متخصصة) وJev-27B (نموذج Qwen أساسي مجمد + 1 محول LoRA عام للقرار)، تمكن Granite-Switch-4.1-30B من إكمال سير عمل RAG حقيقي من 5 خطوات أسرع بكثير من منافسه.
اصنع ووسّع نموذج Granite Switch الخاص بك
تم إصدار Granite-Switch-4.1-8B و-30B مع "البطاريات مشمولة". وهما نموذجا Granite Switch قمنا بتجميعهما بمجموعة محددة مسبقًا من المحولات المفيدة. لكنك لست بحاجة إلى استخدام نسختنا. يمكن لأي شخص أن يكوّن نموذج Granite Switch الخاص به، ويخلط بين المحولات من Granite Libraries ويطابقها لتلبية احتياجاته على أفضل وجه.
مضيًا قدمًا، نرى فرصًا هائلة للمجتمع في تكوين وتوسيع نماذج Granite Switch بمحولات مخصصة وتابعة لجهات خارجية. نخطط لإصدار Adapter SDK لتدريب المحولات في Mellea, إلى جانب برامج تعليمية أخرى ودعم Granite Switch. يمكن أن تكون هذه المحوّلات (adapters) محوّلات تصنيف متخصصة لتعزيز سير العمل القائم على القرارات أو محوّلات لمهام لغوية متخصصة. يمكنك حتى استخدام محوّلات مخصصة لتعليم نسخة 3B من Granite لعب لعبة Doom الكلاسيكية.
وعلى غرار Jev، اتخذ نموذج Granite Switch المخصص لدينا بمعاملات 3B قرارات في أجزاء من الثانية للتنقل في لعبة Doom، ولكنه كان قادراً على القيام بذلك بمعدل 60 - 100 قرار / ثانية، مقارنة بـ 10 قرارات / ثانية المُبلّغ عنها لـ Jev.1 وعلى خلاف Jev، يمكن لهذا النموذج Granite Switch أيضاً أن يروي الأحداث ويستجيب لأسئلتك أثناء اللعب.
نتطلع إلى إصدار المزيد من التفاصيل والبيانات حول Granite Switch في الأسابيع القادمة، لكن حتى ذلك الحين، نشجعكم على تجربة أحدث نماذج Switch لدينا وهذه الموارد المفيدة الأخرى لبدء الاستخدام.يمكن الوصول إليه من أي مكان
سيتوفر Granite Switch 4.1 بأحجام 8b و30b، ويمكن أن يتسع أينما يعمل عبء العمل لديك. يعمل النموذج في vllm مع إضافة (انظر مستودع Granite Switch أدناه)، وله دعم استدلال أصلي في llama.cpp والمنصات اللاحقة، مما يسمح للنموذج بالتبديل بسلاسة محل /v1/systemone استدعاءات API في أي مكان تُستخدم فيه، مع خدمة استدعاءات الدردشة التقليدية أيضاً، وكل ذلك مع ذاكرة تخزين مؤقت مشتركة للبادئات.
موارد لبدء الاستخدام
- بطاقات نموذج Granite Switch 4.1
- عرض توضيحي لتحويل الكلام إلى قرارات
- مستودع GitHub لنموذج Granite Switch
- مدونة الإصدار الأصلي لـ Granite Switch ومكتبات Granite
- أنشئ سباق aLoRA مقابل LoRA الخاص بك على Colab.
الحواشي السفلية
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev