تعرف على qwenGPU: Qwen3.5-2B مع 45 طبقة GPU مجمّعة تشغّل CUDA

qwenGPU هو نموذج تجريبي يجمّع GPU من نوع SIMT مباشرةً في أوزان Qwen3.5-2B. أطلقه المطوّر Vixhal (@TheVixhal) على GitHub بترخيص MIT. يشغّل النموذج CUDA حقيقية، مجمّعة إلى NVIDIA PTX، داخل تمريراته الأمامية الخاصة. بالنسبة للمطوّرين، هو يختبر فكرة واحدة: الحساب الدقيق داخل LLM مدرّب مسبقاً، لا إلى جانبه.

TL;DR

• الحجم: Qwen3.5-2B (24 طبقة) مع 45 طبقة GPU مجمّعة، بإجمالي 69 طبقة. السياق: 262,144 رمزاً (النموذج الأساسي).
• يعمل على: شرائح Apple silicon أو GPU من NVIDIA أو CPU، مع نحو 16 GB من الذاكرة الحرة. لا توجد نسخة مُكمّمة (quantized).
• الأداء: كان كل إطلاق في تجارب المطوّر دقيقاً؛ انحراف النص هو KL بنحو 7e-4.
• الأفضل: طابقت المفسّر المرجعي بطاقة NVIDIA Tesla T4 حقيقية على 49 من أصل 49 نواة (kernel).
• الأسوأ: نحو 10 إلى 15 رمزاً في الثانية على Apple MPS؛ تجاوزت CUDA المكتوبة بواسطة Qwen 4 من 5.

ما هو qwenGPU؟

qwenGPU هو Qwen3.5-2B مع 45 طبقة محوّلة مجمّعة توضع أمام طبقات Qwen الـ 24 الخاصة به. لا شيء من تلك الطبقات مدرّب. يحسب المُجمّع كل وزن.

كيف يتسع GPU داخل أوزان النموذج؟

الـ GPU هو آلة SIMT بـ 4 مسارات. لديها 15 سجلاً لكل مسار، وخط أنابيب من 4 مراحل، وذاكرة ROM من 32 كتلة، و126 كلمة ذاكرة. تستخدم فقط أنواع الطبقات الخاصة بـ Qwen3.5 نفسه: انتباه Gated DeltaNet الخطي وطبقات SwiGLU MLP.

الحيلة تكمن في الحالة التكرارية لـ Gated DeltaNet. في رؤوس الدائرة، يُبقى البوابة مفتوحة وقوة الكتابة تساوي 1. كل مفتاح يكون one-hot. كل تحديث يستبدل 1 صف بالضبط، ويقرأه استعلام one-hot من جديد. وبذلك يعمل كل صف كخلية ذاكرة.

تحتفظ هذه الحالة بـ ROM البرنامج والسجلات والذاكرة العامة. تسرد ملف README عدد 16 صفاً من السجلات لكل مسار، مع 1 صف يقرأ صفراً دائماً. وهذا يطابق الـ 15 سجلاً قابلاً للاستخدام في منشور X.

يدعم الـ GPU الحساب الصحيح (integer)، والمسندات (predicates)، والتفرّعات المتباعدة، والحلقات. كما يدعم الذاكرة المشتركة، atomicAdd, __syncthreads() و warp shuffles.

ما الذي يحدث أثناء إطلاق CUDA؟

يلعب المضيف (host) دور NVRTC ومشغّل CUDA. يُجمّع كود CUDA إلى PTX باستخدام clang، ثم يحوّل PTX إلى كتل آلة. يغذي البرنامج ومصفوفات الإدخال إلى النموذج كرموز (tokens).

من هناك، يكتب النموذج الإطلاق بنفسه. كل EXEC(b, w) token يشغّل block b for warp w في تمريرة أمامية واحدة (forward pass) باستخدام 1. الـ VAL tokens التي تليه تحمل نتائج السجلات. عمليات كتابة الذاكرة تعود كسجلات MEM records. يقرأ المضيف النتائج من الحالة المتكررة ولا يحسب أيًّا منها.

في فيديو العرض التوضيحي، يعطي الضرب النقطي للمتجهين [1, 2, 3] و [4, 5, 6] النتيجة 32. كتب النموذج ذلك الإطلاق في 47 tokens.

هل يُفسد الـ GPU قدرة Qwen على النصوص؟

ليس وفقًا لقياس المطوّر. الدائرة معطَّلة على tokens النصوص، وأوزان Qwen الأصلية لم تتغيّر. يبقى توزيع الـ token التالي للنموذج المدمج ضمن KL بحوالي 7e-4 من الأصل.

ما مدى دقة qwenGPU؟

جميع الأرقام مُبلَّغ عنها ذاتيًا، وقِيست على شرائح Apple باستخدام MPS بدقة bf16:

• كان كل إطلاق دقيقًا تمامًا تحت --check replay.
• طابق المفسِّر المرجعي NVIDIA Tesla T4 في 49 من أصل 49 kernel اختباريًا.
• أجاب الوضع العادي على 20 من أصل 24 سؤال محادثة مأخوذًا كعينة بأرقام محسوبة من الـ GPU.
• كتب الوضع المتقدم kernel صحيحًا من المحاولة الأولى في 4 من أصل 5 أسئلة.

في الوضع العادي، يكتب Qwen تعبيرًا مثل [1, 2, 3] @ [4, 5, 6] للـ kernels الجاهزة. في الوضع المتقدم، يكتب Qwen الـ kernel الخاص بـ CUDA بنفسه. يحذّر ملف README من أن CUDA لنموذج بحجم 2B لا يزال غير موثوق.

كيف يقارن qwenGPU بـ Qwenputer و Percepta؟

يستخدم qwenGPU مُجمِّع المحولات من Qwenputer بقلم Divyansh Agrawal. يُجمِّع Qwenputer وحدة معالجة مركزية RISC-V بعرض 32 بت في Qwen3.5-4B. Percepta بنى مفسِّر WebAssembly داخل محول transformer برؤوس انتباه 2D في مارس 2026.

تستخدم أرقام السرعة عتاداً وأنواع رموز مختلفة، لذا فهي غير قابلة للمقارنة مباشرةً.

ماذا تحتاج لتشغيله؟

يتطلب quickstart ‏Python 3.11+ وuv وjust وحوالي 16 GB من الذاكرة الحرة. يتطلب الوضع المتقدم أيضاً clang مع خلفية NVPTX. just build يُنزِّل Qwen3.5-2B ويُترجم وحدة معالجة الرسومات GPU بداخله. لا توجد نقطة تفتيش مبنية مسبقاً ومنشورة. وتخضع نقطة التفتيش المبنية لترخيص Qwen‏ Apache-2.0.

الخلاصات الرئيسية

• يقوم qwenGPU بترجمة وحدة معالجة رسومات SIMT ذات 4 مسارات إلى Qwen3.5-2B كـ45 طبقة غير مُدرَّبة.
• تعمل حالة Gated DeltaNet كسجلات وذاكرة ROM للبرنامج وذاكرة عامة.
• يكتب النموذج كل خطوة من خطوات إطلاق CUDA؛ لا يقوم الجهاز المضيف إلا بالترجمة والتحميل.
• طابق المفسِّر Tesla T4 في 49 من أصل 49 نواة (kernel).
• بمعدل 10 إلى 15 رمزاً في الثانية، فهو عرض توضيحي بحثي، وليس بيئة تشغيل.

اطّلع على مستودع GitHub، و مرجع qgpu CUDA، و بطاقة نموذج Qwen3.5-2B و منشور X الأصلي. كما يمكنك بكل حرية متابعتنا على تويتر ولا تنسَ الانضمام إلى 150k+ML SubReddit والاشتراك في نشرتنا البريدية. مهلاً! هل أنت على تيليجرام؟ يمكنك الآن الانضمام إلينا على تيليجرام أيضاً.

هل ترغب في الشراكة معنا للترويج لمستودع GitHub الخاص بك أو صفحة Hugging Face أو إصدار منتج أو ندوة عبر الإنترنت وغير ذلك؟ تواصل معنا

المقال Meet qwenGPU: Qwen3.5-2B With 45 Compiled GPU Layers That Run CUDA ظهر أولاً على MarkTechPost.