أبرز الملامح
تتضمن هذه الإصدار 814 التزاماً من 363 مساهماً (منهم 121 جديداً)!
- قرارات مُهيكلة ومُحلِّلات عامة: النقطة النهائية الجديدة
POST /v1/systemoneتجيب عن أسئلةchoice,noulوscoreعبر حالة مُهيكلة (#59299)، وتُخدَم افتراضياً (#60677، #60696)، وتعمل أيضاً علىCloudflare/clef-omni(#61064),LiquidAI/d1-3B(#60676) وDiffusionGemma (#60466). أداةhfالجديدة ومُحلِّل الاستدلال (--tool-call-parser hf,--reasoning-parser hf) يقرأانresponse_templateالخاص بنقطة التفتيش، فلا تحتاج النماذج التي تتضمنه إلى مُحلِّل خاص بالنموذج (#58604، #58602)، في كلٍّ من الواجهتين الأماميتين Python وRust (#59005). - ذاكرة KV cache منخفضة الدقة في كل مكان: تعمل الآن NVFP4 KV cache على SM8x وSM12x (#46963) وSM90 (#60620) ومع فك تشفير XQA على SM12x (#60452)، وعلى انتباه MiniMax-M3 المتناثر على SM100 (#59300)؛ وتعتمد GLM-5.x افتراضياً على ذاكرة FP8 KV cache على SM100، ما يُنصِّف ذاكرة KV لكل رتبة مع إنتاجية أعلى بنسبة 2.3-5.5% وكلفة TTFT بنسبة 7-11% في قياس أداء طلب السحب (#60140، #60281)؛
fp8_ds_mlaعلى SM90 يمنح GLM-5.3-Flash إنتاجية إخراج أعلى تصل إلى 31% (#59246)؛ ويكتسب ROCm ذاكرة KV cache بدقة 4 بتاتultraquant_4bitبكثافة تفوق FP8 بنحو 2 مرة (#57057). - Model Runner V2: مُخمِّن n-gram على GPU مع مسودات متغيرة الطول (#40704)، وElastic EP (#53934)، وتوازٍ في الخطوط (pipeline parallelism) مع توازٍ سياق المعالجة المسبقة لنماذج MLA (#59139)، ووضع torch.compile قياسي (#59079)، وأصبح MRV2 الآن الافتراضي على ROCm مع إزالة استثناءات MRV1 الخاصة بنماذج بعينها (#56360).
- بدء تشغيل وخدمة أسرع:
vllm download-kernelsيثبّت نوى FlashInfer المُجمَّعة مسبقاً (#58765)؛vllm preload --preload-autotuneيحافظ على جدول FlashInfer autotune دافئاً عبر إعادة التشغيل (#60085)؛ وساحة تُنسِبات (tensor arena) في الذاكرة المشتركة تبثّ مُنسِبات الوسائط المتعددة الكبيرة إلى العمّال بنسخة واحدة (#51207)؛ ويُحمَّل المُرمِّزات (tokenizers) والمعالجات من اللقطة المحلية (#60825)؛ ومع--api-server-countأعلى من 1 يذهب كل اتصال إلى عامل API الأقل تحميلاً، ما يمنح 43-85% طلباً إضافياً في الثانية على الطلبات القصيرة (Qwen3-0.6B، 32 رمزاً مُدخَلاً / 1 رمز مُخرَج) في قياس أداء طلب السحب (#60723). - دعم النماذج: تضمينات omni-modal جديدة EmbeddingGemma 2 (#60254)، وMiniCPM-V 4.7 (#58674)، وNemotron 3.5 ASR (#59827)؛ ودخل الفيديو في خلفية النمذجة Transformers (#57441)؛ وتحويلات فهرس GLM-5.3 sparse MLA مُعاد استخدامها عبر الطبقات (3.5-3.9x على تلك النواة، #59464) وفك تشفير مسودات متعدد الخطوات مدمج (13.3% عند تزامن 1، #57443)؛ وتخزين مؤقت للموقع لكل طلب في HiSparse يمنح إنتاجية أعلى تصل إلى 58% على GLM-5.3-NVFP4 على B200 مع سياقات طويلة مُقيمة بالكامل على GPU عند تزامن مرتفع (#60083).
- الأمان: إصلاحات لـ GHSA-4hhp-h66f-j5j7 (استنزاف موارد قالب المحادثة، #50300)، وGHSA-q97c-p368-75c4 (المُرمِّز
max_token_id، #59491) وGHSA-frvg-qw88-hww9 (استنزاف مقابس ZMQ عبر P2P، #51504)؛ ولم يعد CORS يسمح بكل المنشأ افتراضياً (#61009)؛ وتقتصر الصور غير الموثوقة على الصيغ النقطية (#60022)؛ وتُوقَّع مقابض الذاكرة المشتركة لذاكرة الوسائط المتعددة المؤقتة (#59357)؛ ويُرفض مخططات JSON المتداخلة على أعماق تتجاوز 64 مستوى (#60036). - تغييرات جذرية: إسقاط Python 3.10 (#60402)؛ وتقييد مناشئ CORS الافتراضية (#61009)؛
transformers>=5.16.1,<5.20.0وtokenizers>=0.23.2(#57387, #59796)؛ تمت إزالة تمريرات torch.compile للتتابع المتوازي وAsyncTP (#60517)؛ تمت إزالة الاهتمام المتتالي (#61126)؛mamba_cache_mode="all"تمت إزالته (#58997)؛max_tokensلم يعد محجوزًا من نافذة السياق (#57035)؛ تمت إعادة تسمية أحداث بث الاستدلال في واجهة Responses API (#59652).
مخرجات الإصدار
حزم Python Wheels
| المنصة | التثبيت |
|---|---|
| PyPI (CUDA 13.0) | pip install vllm |
| PyPI (CUDA 13.0, uv) | uv pip install vllm --torch-backend=auto |
| ROCm | pip install vllm --extra-index-url https://wheels.vllm.ai/rocm/0.32.0/rocm723 |
| XPU | uv pip install vllm --extra-index-url https://wheels.vllm.ai/0.32.0/xpu --extra-index-url https://download.pytorch.org/whl/xpu --index-strategy unsafe-best-match |
صور Docker
| المنصة | صورة Docker |
|---|---|
| CUDA 13.0 (الافتراضي) | docker pull vllm/vllm-openai:v0.32.0 |
| CUDA 12.9 | docker pull vllm/vllm-openai:v0.32.0-cu129 |
| CUDA 13.0 + Ubuntu 24.04 | docker pull vllm/vllm-openai:v0.32.0-ubuntu2404 |
| CUDA 12.9 + Ubuntu 24.04 | docker pull vllm/vllm-openai:v0.32.0-cu129-ubuntu2404 |
| ROCm | docker pull vllm/vllm-openai-rocm:v0.32.0 |
| المعالج المركزي CPU | docker pull vllm/vllm-openai-cpu:v0.32.0 |
| XPU | docker pull vllm/vllm-openai-xpu:v0.32.0 |
مخرجات أخرى
المخرجات المُجمَّعة مسبقًا متوفرة في قسم Assets في أسفل هذه الصفحة، وتشمل: - حزمة tarball للتوزيع من المصدر - عجلات بايثون CUDA 12.9 لمعماري x86_64 وarm64 - عجلات بايثون CUDA 13.0 لمعماري x86_64 وarm64 - عجلات بايثون CPU لمعماري x86_64 وarm64 وmacOS - عجلة بايثون XPU لمعمارية x86_64
دعم النماذج
- نماذج جديدة: EmbeddingGemma 2 (
google/embeddinggemma-2)، وهو نموذج تضمين متعدد الوسائط بالكامل للنص/الصورة/الصوت/الفيديو، مع تخطي مُرمِّزات الوسائط غير المستخدمة عبر--limit-mm-per-prompt(#60254, #60289)؛ MiniCPM-V 4.7 (#58674)؛ Nemotron 3.5 ASR (nvidia/nemotron-3.5-asr-streaming-0.6b) لنسخ الصوت الكامل؛ البث الفوري في الوقت الحقيقي غير مدعوم بعد (#59827)؛Cloudflare/clef-omni(#61064) وLiquidAI/d1-3B(#60676) على/v1/systemone؛ محللات الاستدلال والأدوات PLaMo 3 (#56575)؛ وقالب تقييم إعادة الترتيب zerank-2 (#60415). - خلفية النمذجة Transformers: مدخلات الفيديو (#57441)، ونماذج Glm وArcee وCWM وMellum (#59679) وGPT-NeoX وPhi وSeed-OSS وJais2 (#59701) تُقدَّم الآن من خلالها.
- قدرات نماذج جديدة: LoRA لنماذج التضمين BERT وRoBERTa وXLM-RoBERTa (#61033)؛ Granite كهدف لـ EAGLE3/DFlash (#60855)؛ Qwen3-ASR EAGLE3 (#52824)؛ Sarvam MLA EAGLE3/DSpark مع PP (#55902)؛ GLM-5.3-Flash مع المسوّد DFlash2 (#56983)؛ وMiniMax-M3 EAGLE3 عند PP > 1 على MRV2 (#57197) مع مشاركة تضمينات الهدف من MTP تحت PP (#58648).
- GLM-5.3 وGLM-5.3-Flash: تحويل فهرس MLA المتناثر مُعاد استخدامه عبر الطبقات (#59464)، وفك ترميز المسودة متعدد الخطوات المدمج (#57443)، وذاكرة KV المؤقتة FP8 كافتراضي على SM100 (#60140, #60281)،
fp8_ds_mlaعلى SM90 (#59246)، وتخطي qlnorm لـ MHA (تحسن 4.4-7.7% في TTFT، #58845)، وتقسيم prefill المفهرس للسياق الطويل عبر TP (انخفاض TTFT بنسبة تصل إلى 25% عند سياق 1M، #54951)، وDCP لمفهرس kpool (#59211, #60032)، ونقاط فحص prefill لـ KDA مع FlashKDA (#56960)، وذاكرة KV بـ FP8 على SM90 مع MLA المتناثر (#55222)،--mamba-ssm-cache-dtypeالمُراعاة لحالة KDA (#59147)، وتخطيط KV مُعبأ عام (#57169)، واستعادة مشاركة فهرس MTP (#61079)، وإصلاحات لأعطال برج الرؤية (#59126)، وموازنات مُرمِّز الصور غير المربعة (#59565)، وبدء تشغيل DP (#56974)، وطوابع زمنية للفيديو (#55647)، والحالات المخفية المساعدة لـ DFlash2/EAGLE3 (#60763) وكتابات الكتل الفارغة (#59528). - DeepSeek-V4 وV4.1: إعادة تشغيل مُقيَّدة لـ SWA على جانب وحدة فك الترميز (#58132) مع طبقات إعادة التشغيل في رسوم CUDA البيانية ومقتطعة في رسوم PIECEWISE (
compilation_config.decoder_replay_trim_threshold, #59532) بالإضافة إلى قصّ طبقة مصدر KV الأخيرة (+3.6%, #59894)، وتبادل Engram المعبأ بـ FP8 عبر DP (#59923)، وعمليات بحث Engram أسرع مع التفريغ على CPU (#59327)، وصياغة MTP مدمجة لـ DeepSeek V4 (#58463)، وتعبئة الرسم البياني CUDA للمُرمِّز لـ V4.1 وKimi-K3 (انخفاض متوسط TTFT بنسبة 11%, #58925)، وEPLB لمسوّدات DSpark (#57549)، وإصلاحات لنقاط فحص NVFP4 مع قبول مسودة 0% (#59655)، وترتيب إنهاء الخبير المشترك في MegaMoE (#59927)، ومدخلات وهمية لأسوأ حالة في الرؤية (#57898, #59271)، وكتابات الكتل الفارغة في حلقة الضاغط (#58560)، وتكميم المفهرس في Triton 3.9 (#60716)، ورسوم CUDA البيانية لإعادة تشغيل وحدة فك الترميز مع خلفيات FlashInfer EP MoE (#61041). - Qwen: إسقاطات QSA مدمجة في GEMM واحد لـ Qwen3.8-Flash-Next (Qwen4Exp) (1.45-1.68x, #59533)، ومفهرس مسبق QSA مدمج (#57097)، وتوازٍ تسلسلي عبر
--enable-hc-sp(#56322)، وخطط GEMM لفك الترميز منخفض الكمون على SM100 (تصل إلى 2.7x مقارنة بـ cuBLAS عند M الصغيرة، #59214)،--kv-cache-dtype-skip-layers(#60023)، وتحميل PLE لـ INC (#59990) وQuark (#59443) ووحدات GPU الأقدم من SM89 (#60142)؛ ذاكرة M-RoPE المؤقتة لـ Qwen3-VL/Qwen3.5/Qwen3.8 أصغر بـ 4 مرات وتطابق YaRN في Qwen3.5 مع Transformers (#59853)؛ إصلاحات M-RoPE لـ Qwen3-Omni (#58890، #59842)؛ Qwen3-ASR على المعالج الأصلي (#57146)؛ معدل إطارات الفيديو غير المعروف في Qwen3-VL (#60501) والخيارات الخاصة بكل فيديو مع الذاكرة متعددة الوسائط المؤقتة (#55203). - Kimi-K3 وMiniMax-M3: Kimi-K3 FlashInfer fused speculative KDA على SM100 (#54255)، معالج رؤية مدمج (معالجة أولية أسرع بـ 10-20 مرات عند 1080p-8K، #59278)، حزمة K/V مدمجة على مسار prefill الخاص بـ DCP (#56881)، وDSpark KV cache عاد إلى 4 مجموعات (#59733)؛ MiniMax-M3 MSA prefill باستعلام E4M3 (أسرع بـ 26-37% مع FP8 KV، #60684)، ذاكرة فهرس FP8 مؤقتة على وحدات GPU غير SM100 (#59081)، ضبط مفهرس Triton (#56151، #59481)، وإصلاحات درجات الفهرس (#60194، #54597).
- متعدد الوسائط: تطبيع المدخلات على جانب الجهاز لـ Qwen3-VL/Qwen3.5/Qwen4Exp (#51289)، وGLM-V وGLM-OCR (#55389)، وLlama Nemotron VL (#57928) وKimi K2.5/K3 (#59278)، مع الإبقاء عليها مدمجة بموجب
compile_mm_encoder(#59195)؛ مدخلات المشفّر مرتبة حسب الوسيط (زيادة بنسبة 6.5-8.2% في req/s، #60196)؛ معالجة أولية أسرع بـ 8% لـ Mistral 3 (#57531)؛ Pixtralcompile_mm_encoder(#57168)؛ وإصلاحات لـ Llama 4 / Mistral Large 3 EAGLE drafters (تراجع منذ v0.28.0، #57633)، ونفاد الذاكرة OOM في صوت Phi-4 MM (#60614)، وبكسلات zero-sum في DeepSeek-OCR (#59417)، وMiMo-V2.5/V2.6 مع fastsafetensors (#58142)، وذاكرة FP8 KV المؤقتة لـ MiMo-V2.6 (#58128)، وVoxtral realtime (#45022)، وLayerNorm في رؤية Nemotron Super (#61401)، وإعدادات K-EXAONE وMTP RoPE (#60187)، وNemotron Parse tiedlm_head(#60272)، وتحميل MTP لـ LongCat-Flash (#60080) وLing-3.0-flash-VL (#59026).
نواة المحرك
- مشغّل النماذج الإصدار 2: متخمّص n-gram على GPU (#40704)، وElastic EP مع توسّع drain-then-commit (#53934)، وPP مع PCP لنماذج MLA (#59139)،
STOCK_TORCH_COMPILEوضع (#59079)، وK الديناميكي في المتخمّصات الانحدارية (#57053)، وإعادة تشغيل قناع أخذ العينات MTP (#59359)، ورؤوس LM لكل وحدة (#58921)، ونسخ H2D غير حاجزة على WSL2 (#60215)، وإصلاحات لإزاحات فهارس int64 عند السياق الطويل (#60736)، والتسخين المسبق (#61013)، ونقاط تفتيش GDN prefill (#59536)، ومحاذاة حالة MRV2+PP+MTP (#60210). - فك التشفير التخميني: فك تشفير مسودة متعدد الخطوات مدموج على FlashInfer trtllm-gen (#58371)، وFlashInfer ReplaySSM لـ Mamba2 MTP (#52928)، وبيانات وصفية داخل المخطط لمسودات DFlash/DSpark (#60692)، وإصلاحات صحّة لـ ngram على النماذج الهجينة المتكرّرة (#56531)، ونقاط تفتيش Mamba prefill مع MTP والتخزين المؤقت للبادئة (#59759, #60797)، وتقليم سلاسل التوقف (#47616)، وإعدادات نموذج المسودة (#61240)، والتحقق التكيّفي بالكتل (#60945)، وفتحات DSpark الإضافية (#59105)، ونماذج المسودة على الواجهة الخلفية Transformers (#59293).
- النماذج الهجينة والتخزين المؤقت للبادئة: نقاط تفتيش Mamba2 داخليّة prefill لـ NemotronH وGranite-4.0-H وFalcon-H1 وZamba2 (#57329)، وتجاهل تجزئات الكتل القديمة عند اقتطاع جلسات البث (#59103)، وإصلاحات لـ Mamba-2 المكمّمة مع TP (#58083)، وأحجام صفحات فك التشفير التخميني (#59975)، وحدود ذاكرة البادئة المؤقتة (#55601, #60533)، وأخطاء NaN في Mamba2 على sm90 (#61718).
- السكون والتعلم المعزّز: يحرّر وضع السكون مساحة العمل المؤقتة (حتى 4.5 GiB لكل GPU، #59156) وحالة KV-init (نحو 4.6 GiB لكل GPU، #59158)، وخيار
sleep_mode_offload_cudagraph(#59160, #59523)؛ ونطاقات إصدار الأوزان على مستوى الرمز في المخرجات (#59582, #61070)؛ ومحرّكات اتصال نقل الأوزان تُحرَّر دون إيقاف الاستدلال (#61060)؛--sleep-preserve-parameter-names 'draft.*'(#61046);modelexpressالواجهة الخلفية لنقل الأوزان (#58399)؛POST /weight_checker(#51350)؛ ومقاييس نقل الأوزان (#55781)؛--enable-nccl-comm-suspendتحرير مساحة عمل MNNVL (#59360)؛ وsleep(level=2)الاحتفاظ بمقاييس FP8 KV (#57163). - HiSparse: ذاكرة إقامة مؤقتة لكل طلب (حتى 58% عند التزامن العالي مع سياقات مقيمة على GPU، #60083)، وتقليل عبء المُجدول (#57930)، وإقامة على GPU مملوكة لـ HiSparse (#60647)، وذاكرة تدريج أقل (#60429)، ومؤشرات ذاكرة التخزين المؤقت على المضيف (#58949, #59485)، وإصلاحات لحدود رموز فك التشفير (#60682) وتعليقات TP (#60941).
- الإقلاع والذاكرة: ساحة موترات بالذاكرة المشتركة (
--enable-shm-tensor-arena، مفعّلة افتراضيًا، #51207)، وFast Start مع PP (#55477)، والأوزان المحتجزة من الخادم الخفي تُحتسب ضمنgpu_memory_utilization(#57298)، والتحميل المسبق للضبط التلقائي (#60085)، ولقطات مُرمِّز محلية (#60825)،sparse_mla_prefill_workspace_factorبتوفير عدة GiB عند سياق 1M (#61023)، واستعادة الذاكرة المخزنة مؤقتًا أثناء تحميل الأوزان (#57516)، وتقليل عمليات ترجمة تسخين مُعيّن Triton (#58605)، ومحمّل حالة مُقسّم مع PP (#52110)، وreload_weightsمع مُبثّق Run:ai (#58124). - الأنوية وزمن التشغيل: ضبط MoE weighted-sum (بمعدل 1.17-2.37x، #59731)، وأنوية flash-maxsim لتقييم ColBERT/ColPali (#40337)، وإزالة الترميز الاحتياطية بوحدة معالجة مركزية أقل بنسبة 69% عند 32K رمزًا (#60497)، وطابور تحرير كتل KV أسرع (#60269)، وإيقاف أنوية Triton
tl.make_block_ptr(#60502)، واستعادة تمريرات الدمج تحت PyTorch 2.15 (#57299) ودمج تكميم FP8 الثابت على إصدارات torch الحديثة (#61108). - ثبات الدفعات: تخفيض مخصص تحت
VLLM_BATCH_INVARIANT=1(#58623)، وتقليص LoRA بحلول split-K حتمي (#59377)، وفحص كل واجهات الانتباه الخلفية (#60271)، وإعدادات TP لـ SM120 (#58495)، ودعم ROCm (#52231). - قابلية الرصد:
vllm:prompt_tokens_cached_by_source_total(#56318),vllm:num_requests_kv_fetch_by_stage(#58874),vllm:admission_rejections_total(#55812),vllm:watermark_requests(#58715),--custom-histogram-buckets(#48867)، ومنسّق سجلات JSON عبرLoggingConfig.formatter(#58739)، وعناصر تحكم التنميط لكل جلسة (#57875).
الخدمة على نطاق واسع
- MoE communication: FlashInfer CuteDSL MegaMoE لدعم المزيد من النماذج عبر
--moe-backend flashinfer_cutedsl(#54049)، ودمج FP8 لـ FlashInfer one-sided all2all (+4% عند DEP8، #57995)، وNCCL symmetric-memory MoE reduce-scatter (انخفاض زمن الوصول بنسبة 9.6-16%، #49194)، ووضع DeepEPv2 الهجين NVLink+RDMA مفعّل افتراضيًا (#57991)، والخبراء المشتركين في Kimi-K3 مع DeepEP v2 (#56875)، وتجميع ترحيل EPLB الاختياري (#52641). - التوازي السياقي: طلبات decode موزعة عبر رتب PCP (#52162) وTokenSpeed MLA مع block-interleaved DCP لتجزئة NIXL غير المتجانسة (#59462).
- موصلات KV: نسخ NIXL host-buffer مجمّعة (#54483)، وأحجام كتل مختلطة (#58860)، واسترداد بيانات وصفية من الأقران (#55471) وقبول Qwen3.8-Flash-Next MTP في P/D (#59997)؛ ومناطق Mooncake المجمّعة الهجينة/MLA عبر RDMA (#57952) وإعادة محاولة bootstrap (#55923)؛ وMoRIIO Kimi-K3 DSpark READ (#57700)؛ وDeepSeek-V4.1 P/D تخطي إعادة التشغيل المحدودة لـ KV المحمّلة (#59197)؛ وواجهة KVCR pool-and-index API (#59899).
- التوازي في البيانات: طلبات streaming مثبتة على محركها (#59017)، وتدفقات RNG لكل محرك (#59788)، ومجموعات توزيع بدون
ray[default](#57648).
العتاد والأداء
- NVIDIA: FlashMLA sparse prefill أصلي بـ 64 رأسًا على SM100 (1.16-1.18x TTFT، #60029)، وخبراء DeepGEMM block-FP8 مع تخطي الحشو (#59128)، وانتباه SM120 split-K (#58482)، وخطط DGX Spark Qwen4Exp GEMM (#59753، #59632، #60027)، وOAI Triton MXFP4 MoE على SM12x (#58877)، وذاكرة تخزين مؤقت FlashInfer autotune لكل رتبة (#57635).
- AMD ROCm: DeepSeek-V4 AITER MegaMoEV2 عبر
--moe-backend aiter_mega_moe(#59685) مع دمج shared-expert اختياري (3-8%، #61004)، وفك ترميز mono اختياري لـ DeepSeek-V4.1-Flash على MI355X (VLLM_ROCM_MONO_DECODE=1، #60397)، وGluon sparse MLA اختياري (حتى +16% على GLM-5.2، #53492)، وpaged MXFP4 indexer (#58671)، وa4w4 MoE اختياري لـ DSv4 (#58819)،ultraquant_4bitKV cache (#57057)،aiter_flydslGDN prefill (#57560)، وcheckpoints لـ Kimi-K3 prefill (تحسّن بنحو 20% في TTFT، #58344)، وfused MLA decode (#57640)، وper-rank latent MoE shards (#59591)، وGLM-5.3-Flash split-K sparse MLA decode (انخفاض 5-15% في ITL، #58584)، وmerge_attn_statesأصلي (2.4x، #60159)،ROCM_SEGMENTED_ATTNلـ RDNA (#59132)، وضبط gfx11 W4A16 (حتى 23% في TTFT، #56301)، وMRV2 كافتراضي مع إزالة استثناءات MRV1 الخاصة بنماذج محددة (#56360)، وإصلاحات لـ segfaults في وضع sleep على ROCm 7.2+ (#60367) وإعادة تحميل أوزان MLA (#60389). - Intel XPU: MLA في
FLASH_ATTN_MLA(#58297)، وArc Pro B70 FP8 GEMM (2.0-2.73x، #56063) وconfigs لـ fused MoE (#53065)، وfused SYCL LayerNorm (#57172)، وإصلاحات لـ Gemma-2 softcap (#58936) وDP+EP MoE (#57787). - CPU: sampler متجهي (حتى 58x على s390x، #53913)، وaarch64 causal conv1d (نحو 9%، #54093)، وPOWER10 AWQ/GPTQ (#59149)، وPowerPC
dtype=autoاختيار bfloat16 (#58528). - أخرى: tpu-inference v0.31.0 (#60190) ومنصات out-of-tree تسجّل عدة attention backends (#41091).
التكميم
- قدرات جديدة: إعادة تكميم فورية لطبقات linear (
--quantization-config.linear fp8_per_channel، #55684)، وper-token NVFP4 CuTe-DSL MoE (#50030) مع ReLU2 (#56740)، وMXFP4 MoE oracle مع CUTLASS W4A4 وBF16 fallback (#60079)، وcompressed-tensors MXFP4 MoE مع تنشيطات FP8 (#59815)، وModelOpt IQ2_XS/IQ2_XXS/Q8_0 على SM120/SM121 (#59604)،int4_per_token_headKV مع رؤوس غير قوى العدد اثنين (#56198)، وتفضيل Humming على Marlin على SM90 (#56997). - إصلاحات: تلف صامت في CUTLASS NVFP4/MXFP4 MoE تحت EP (#59042)، وGPTQ مع أسماء safetensors غير افتراضية (#60411)،
moe_wna16نقاط صفر غير متماثلة بـ 8 بت (#58950)، واكتشاف ModelOpt mixed-precision NVFP4 (#56050).
API والواجهة الأمامية
- نقاط نهاية وخيارات جديدة:
/v1/systemone(#59299, #60677, #60696),hfparser (#58604)،vllm download-kernels(#58765),output_mode: "text"وstop_reasonفي/inference/v1/generate(#58588, #60251),mm_payloadلطلبات render (#61427، #60728)، وResponsesmin_pوstop_token_ids(#48084, #56592),LLM.chat(priority=...)(#57243)، و/generative_scoringcache_salt(#60841). - السلوك:
max_tokensهو حدّ أعلى بدلاً من حجز أدنى، لذا لم تعد المطالبات الطويلة تُرفض (#57035)؛ اختيار عامل API الأقل حملاً (#60723)؛ التحقق من توافق محلل الأدوات عند بدء التشغيل (#59749). - استدعاء الأدوات والمخرجات المنظمة:
parallel_tool_calls=falseمفروضة (#50502, #59298)،tool_choice="required"البث (#60354) ومحللات XML الأصلية (#47512)، Step-3.5 وminimax_m3على محرك المحلل (#59321, #59743)، وxgrammarpropertyNames(#57594)، وLoRA PEFTrank_pattern/alpha_patternمطبقة مع رفض الميزات غير المدعومة (#59801, #60225). - الواجهة الأمامية Rust:
--grpc-port(#59659),--stream-interval(#60589),logprob_token_ids(#59549),Control.Shutdownمعvllm-proto0.5.0 (#59316),qwen3_jsonمحلل (#60136)، وإصلاحات قواعد نحو Kimi K3 (#59190, #59395).
الأمان
- GHSA-4hhp-h66f-j5j7: يتم التحقق من قوالب المحادثة بشكل ساكن ويُعرض تحتها مهلة زمنية (
VLLM_CHAT_TEMPLATE_RENDER_TIMEOUT)، وتُرفض القيم المقدمة من المستخدمchat_templateفي Responseschat_template_kwargs، وتحدّ الواجهة الأمامية Rust من تنفيذ القوالب (#50300). - GHSA-q97c-p368-75c4: إصلاح خطأ تجاوز الحد
max_token_idفي المُقطّع (#59491). - GHSA-frvg-qw88-hww9: جلسات نظراء ZMQ من نوع P2P محدودة بـ
VLLM_P2P_MAX_PEERS(الافتراضي 128)،VLLM_P2P_HANDSHAKE_TIMEOUT_S(الافتراضي 30) وVLLM_P2P_IDLE_TIMEOUT_S(الافتراضي 300)، بحيث لا يمكن لعناوين النظراء الفريدة استنفاد مقابس ZMQ بعد الآن (#51504). - لم تعد إعدادات CORS الافتراضية تسمح بكل المصادر في الواجهتين الأماميتين Python وRust؛ اضبط
--allowed-originsللسماح بمصادر المتصفح (#61009). - تُفتح الصور غير الموثوقة باستخدام قائمة سماح لصيغ البيانات النقطية (
ALLOWED_IMAGE_FORMATS)، مع رفض EPS/PostScript وWMF (#60022)؛ مقابض ذاكرة التخزين المؤقت متعددة الوسائط للذاكرة المشتركة موقّعة بـ HMAC وتُرفض المقابض المزوّرة (#59357). - مخططات JSON للمخرجات المنظمة المتداخلة لأكثر من 64 مستوى تُرجع 400 (#60036)؛ طلبات
/v1/embeddingsالمجزّأة تحافظ علىcache_salt(#47696)؛ لم يحتفظ Phi-4 MM الصوتي بعد الآن بمصفوفات انتباه بحجم عدة غيغابايت (#60614)؛ لم تعد موترات البكسل صفرية المجموع في DeepSeek-OCR تقتل EngineCore (#59417). - ترقيات تبعيات أمنية:
aiohttp>=3.14.3,pillow>=12.3.0وcryptography وurllib3 وpyjwt وغيرها (#59249, #59315, #59427).
التبعيات
transformers>=5.16.1,<5.20.0(تم رفع الحد الأدنى من 5.10.4، #57387، #59762) وtokenizers>=0.23.2(#59796).- NIXL 1.5.0 (#56907)، واجهات CuTe DSL 4.8.0 block-scale (#59480)،
humming-kernels==0.1.17مع دعم أولي لـ Rubin (#61556، #61858)، وInstantTensor 0.2.2 (#61167)، وflashinfer-jit-cacheمستثنى من ملف wheelinstall_requires(#60052). - ROCm: AITER 0.1.24.post1 (#59794) وMoRI v1.2.3.post1 (#56073). XPU: auto-round-lib 0.16.0 (#60976). TPU: tpu-inference v0.31.0 (#60190).
البناء
- يتم دعم Python 3.11-3.14 (#60402)؛ وحُزم wheels لنظام macOS بُنيت باستخدام الواجهة الثنائية المستقرة stable ABI (#60312)؛ وتبني CUDA من المصدر يتطلب GCC 13 ويفشل مبكرًا في حال عدم توفرها (#60259)؛ وتقوم صور Docker بترجمة الشيفرة البايتية لـ Python وقت البناء لتسريع بدء تشغيل الحاويات (#55422)؛
VLLM_USE_PRECOMPILEDيجد عجلة منشورة متوافقة ضمن آخر 20 إيداعًا (#58871)؛ ويستخدم DeepGEMM المضمّن في المستودعTORCH_LIBRARY(abi3، #48962).
التغييرات الكاسرة والإيقافات التدريجية
- لم يعد Python 3.10 مدعومًا؛ الحد الأدنى هو Python 3.11 (#60402).
- تم تغيير نطاقات CORS الافتراضية من
*إلى لا شيء؛ عيّن--allowed-originsلمتصفحات العملاء (#61009). transformers>=5.16.1,<5.20.0وtokenizers>=0.23.2مطلوبة (#57387، #59796).- تمت إزالة مراحل التوازي التسلسلي في torch.compile ومراحل AsyncTP، إلى جانب
PassConfig.enable_sp,fuse_gemm_commsوsp_min_token_num; موازاة التسلسل على مستوى النموذج غير متأثرة (#60517). - تمت إزالة الانتباه الشلالي (Cascade attention)؛
--disable-cascade-attnلا يزال يتم تحليله ولكنه يُصدر تحذيرًا فقط وستتم إزالته في v0.33.0 (#61126). mamba_cache_mode="all"تمت إزالته؛--mamba-cache-mode allيفشل الآن في التحقق من الصحة (#58997).- تمت إزالة واجهات برمجة التطبيقات التي تم إهمالها سابقًا:
wait_for_inflight_requests(استخدامmode="wait"),AsyncLLM.pause_generation(),IOProcessor.output_to_response,vllm.scripts.main()وvllm bench throughput --dataset(#60923). الsonnetتمت إزالة مجموعة البيانات المرجعية (benchmark) كما هو مخطط لها (#60129)، وتمت إزالة دعم Tensorizer من LoRA (#60024)، و PyO3vllm._rust_tool_parserتمت إزالة الجسر (#59744). - تغييرات API:
max_tokensيُعامل كحدٍّ أقصى للمخرجات بدلاً من أن يكون محجوزًا من نافذة السياق (#57035)؛ البث في Responses API يستخدمresponse.content_part.added/doneمعpart.type="reasoning_text"بدلاً منresponse.reasoning_part.added/done(#59652);SamplingParams.prompt_logprob_token_idsلكل صف (#56984);/inference/v1/generateتستخدم logprobs معرّفات رموز صحيحة (#58181)؛ وتوحي استجابات واجهة sleep معيارياً والمستويات غير الصالحة تُرجع 400 (#52864)؛return_mm_kwargsتم إهمالها لصالحmm_payload(#61427). - العلامة المائية: عندما تكون العلامة المائية مُهيأة في المحرك، يعني حذف حقل الطلب أنها مُفعّلة وفقط
falseيستبعد الخيار؛ المجموعات غير المدعومة تُصدر تحذيرًا وتعود إلى الوضع الافتراضي (#56801). - واجهة Rust الأمامية:
qwen3_xmlتحلل الآن XML الخاص بـ Qwen3-Coder (الاسم البديل لـqwen3_coder)؛ استخدمqwen3_jsonالجديد لصيغة JSON (#60136). - إعدادات افتراضية جديدة: tensor arena للذاكرة المشتركة مفعّل (#51207)؛ KV cache بنمط FP8 لـ GLM-5.x على SM100 مع
--kv-cache-dtype auto(#60140, #60281);VLLM_DEEPEP_V2_ALLOW_HYBRID_MODE=1(#57991)؛ تفضيل Humming على Marlin على SM90 (#56997)؛sparse_mla_prefill_workspace_factor2 فوق 256Kmax_model_len(#61023)؛ MRV2 على ROCm مع إزالة استثناءات MRV1 الخاصة بموديلات محددة (#56360)؛VLLM_ROCM_AITER_MLA_DCP_VERIFY=auto(#59965);dtype=autoيختار bfloat16 على PowerPC (#58528)؛ نقاط تفتيش MXFP4 W4A4 تعود إلى W4A16 مع تحذير عند عدم وجود kernel يدعم W4A4 (#60079). - تحقق أكثر صرامة: يتم رفض
--prefix-match-unit(#58021),max_num_scheduled_tokens=0غير المتوافقة (#60714)، وHiSparse معcudagraph_mode=FULL(#59688)، والقيم السالبة لـ--device-ids(#49053) عند بدء التشغيل.
مساهمون جدد
- قدّم @0xViking أول مساهمة له في https://github.com/vllm-project/vllm/pull/60053
- قدّم @1fanwang أول مساهمة له في https://github.com/vllm-project/vllm/pull/40986
- قدّمت @a-sidorova أول مساهمة لها في https://github.com/vllm-project/vllm/pull/55335
- قدّم @AbhayShuklaIIT أول مساهمة له في https://github.com/vllm-project/vllm/pull/59763
- قدّم @ahmed-bsod أول مساهمة له في https://github.com/vllm-project/vllm/pull/58655
- قدّم @ai-yang أول مساهمة له في https://github.com/vllm-project/vllm/pull/58088
- قدّم @AIwork4me أول مساهمة له في https://github.com/vllm-project/vllm/pull/54706
- قدّم @AlanFokCo أول مساهمة له في https://github.com/vllm-project/vllm/pull/57163
- قدّم @AMD-yanfeiwang أول مساهمة له في https://github.com/vllm-project/vllm/pull/61004
- قدّم @aniskumar-nv أول مساهمة له في https://github.com/vllm-project/vllm/pull/53020
- قدّم @Anurag-M1 أول مساهمة له في https://github.com/vllm-project/vllm/pull/57693
- قدّم @Aravind-11 أول مساهمة له في https://github.com/vllm-project/vllm/pull/60098
- قدّم @awesome-pro أول مساهمة له في https://github.com/vllm-project/vllm/pull/58895
- قدّم @Ayu190505 أول مساهمة له في https://github.com/vllm-project/vllm/pull/57995
- قدّم @beenpow أول مساهمة له في https://github.com/vllm-project/vllm/pull/57648
- قدّم @big-yellow-duck أول مساهمة له في https://github.com/vllm-project/vllm/pull/59132
- قدّم @blueberry808 أول مساهمة له في https://github.com/vllm-project/vllm/pull/58932
- قدّم @bluemelov1 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58560
- قدّم @bnkaiteam أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60507
- قدّم @brandonfzhang أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/56881
- قدّم @Btwestyo أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59924
- قدّم @bvolpato أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/55203
- قدّم @C1ves أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58890
- قدّم @charlesli640 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59977
- قدّم @cheese-cakee أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59079
- قدّم @CorgiBoyG أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/55596
- قدّم @damienlaine أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/45022
- قدّم @danichan-mkm أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59285
- قدّم @danigarciaoca أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/56372
- قدّم @debanshd أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/57476
- قدّم @devpramod أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60855
- قدّم @devshah-cohere أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60286
- قدّم @DGlan أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59875
- قدّم @dhairyashilRG أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58911
- قدّم @DOCCA0 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/52641
- قدّم @Dovis01 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/56994
- قدّم @ebfio أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58165
- قدّم @ejrtks1020 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59180
- قدّم @eky-amd أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/54857
- قدّم @gaby أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59126
- قدّم @haotiaa أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60766
- قدّم @harshaladhav-amd أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58268
- قدّم @hdq66666 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59695
- قدّم @hoaivoke أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/61033
- قدّم @hpdkhoa أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60747
- قدّم @hubert-marek أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/61000
- قدّم @hubunt أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/47512
- قدّم @huishi-hs أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58053
- قدّم @hyukjlee أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59965
- قدم @Id545 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59247
- قدم @ieaves أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/52824
- قدم @ischencheng أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60763
- قدم @Jeff-Tseng-dev أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59396
- قدم @jiangyunfan1 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/57780
- قدم @JimmyWang0417 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/61081
- قدم @jin-amd أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58904
- قدم @JRJRJPRO أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59879
- قدم @Kevinli24 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58878
- قدم @Kylinny أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60354
- قدم @Lcy0801 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58975
- قدم @Legend-2727 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59293
- قدمت @lianakoleva أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60136
- قدم @LiRunGuo أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/56198
- قدم @lobo235 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60364
- قدم @LostFox11 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58542
- قدم @MadhavJivrajani أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/57635
- قدم @MatthewCYM أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/57146
- قدم @Mazukiri أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60036
- قدم @MohammadHijjawi97 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59072
- قدم @MohitAMD أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/55053
- قدم @nishantrevur أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59541
- قدم @njriasan أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60502
- قدم @NNNtrance أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/55647
- قدم @NolenLiang أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/56974
- قدم @notimesea أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59105
- قدم @ntheanh201 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/57734
- قدم @nv-hwoo أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58399
- قدم @ojeda-e أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59107
- قدم @Ostring24 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/50502
- قدم @peperunas أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58938
- قدم @pondzikk أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/55601
- قدّم @praveingk أول مساهمة له في https://github.com/vllm-project/vllm/pull/60161
- قدّم @puneetsharma21 أول مساهمة له في https://github.com/vllm-project/vllm/pull/48074
- قدّم @rdlh أول مساهمة له في https://github.com/vllm-project/vllm/pull/60415
- قدّم @rmhaskarnvidia أول مساهمة له في https://github.com/vllm-project/vllm/pull/59081
- قدّم @roG0d أول مساهمة له في https://github.com/vllm-project/vllm/pull/55937
- قدّم @roipony أول مساهمة له في https://github.com/vllm-project/vllm/pull/40337
- قدّم @shijie-lyu أول مساهمة له في https://github.com/vllm-project/vllm/pull/55771
- قدّم @shiyuan680 أول مساهمة له في https://github.com/vllm-project/vllm/pull/51350
- قدّم @shreyanshj10 أول مساهمة له في https://github.com/vllm-project/vllm/pull/60359
- قدّم @siliangchen-amd أول مساهمة له في https://github.com/vllm-project/vllm/pull/57108
- قدّم @Sohaib-Ahmed21 أول مساهمة له في https://github.com/vllm-project/vllm/pull/59827
- قدّم @spa5k أول مساهمة له في https://github.com/vllm-project/vllm/pull/60497
- قدّم @sricursion أول مساهمة له في https://github.com/vllm-project/vllm/pull/60307
- قدّم @SunnyR أول مساهمة له في https://github.com/vllm-project/vllm/pull/59811
- قدّم @superdiaodiao أول مساهمة له في https://github.com/vllm-project/vllm/pull/55717
- قدّم @surajsharan أول مساهمة له في https://github.com/vllm-project/vllm/pull/60225
- قدّم @surawut-jirasaktavee أول مساهمة له في https://github.com/vllm-project/vllm/pull/60876
- قدّم @Thiago4532 أول مساهمة له في https://github.com/vllm-project/vllm/pull/58014
- قدّم @TommyTranX أول مساهمة له في https://github.com/vllm-project/vllm/pull/48039
- قدّم @TylerMa-debugg أول مساهمة له في https://github.com/vllm-project/vllm/pull/59917
- قدّم @ultramancode أول مساهمة له في https://github.com/vllm-project/vllm/pull/60786
- قدّم @usmanmateen أول مساهمة له في https://github.com/vllm-project/vllm/pull/59336
- قدّم @v-shobhit أول مساهمة له في https://github.com/vllm-project/vllm/pull/59655
- قدّم @vaclavcadek أول مساهمة له في https://github.com/vllm-project/vllm/pull/49602
- قدّم @viktorkou أول مساهمة له في https://github.com/vllm-project/vllm/pull/58124
- قدّم @vovani أول مساهمة له في https://github.com/vllm-project/vllm/pull/60194
- قدّم @WarrierRajeev أول مساهمة له في https://github.com/vllm-project/vllm/pull/59135
- قدّم @www6v أول مساهمة له في https://github.com/vllm-project/vllm/pull/59749
- قدّم @xiaofei-zheng أول مساهمة له في https://github.com/vllm-project/vllm/pull/55104
- قدّم @xiaoyu-xyz أول مساهمة له في https://github.com/vllm-project/vllm/pull/55161
- قدّم @xuantengh أول مساهمة له في https://github.com/vllm-project/vllm/pull/56740
- قدّم @yantinglai أول مساهمة له في https://github.com/vllm-project/vllm/pull/59530
- قدم @YashasviAsthana أول إسهام له في https://github.com/vllm-project/vllm/pull/59020
- قدم @YidaWeng أول إسهام له في https://github.com/vllm-project/vllm/pull/59373
- قدم @yongqiw-i أول إسهام له في https://github.com/vllm-project/vllm/pull/59159
- قدم @YueshenZ أول إسهام له في https://github.com/vllm-project/vllm/pull/59257
- قدم @YuvrajSinghBhadoria2 أول إسهام له في https://github.com/vllm-project/vllm/pull/57035
- قدم @zhangchengzhucufe-dev أول إسهام له في https://github.com/vllm-project/vllm/pull/59886
- قدم @ZhenchengLin أول إسهام له في https://github.com/vllm-project/vllm/pull/59251
- قدم @ztysth أول إسهام له في https://github.com/vllm-project/vllm/pull/59721
المساهمون
شكرًا إلى: @BugenZhao, @aoshen02, @stefankoncarevic, @mgoin, @khluu, @hmellor, @yewentao256, @lesj0610, @MatthewBonanni, @jperezdealgaba, @ZJY0516, @AndreasKaratzas, @aarushjain29, @Sunt-ing, @NickLucche, @vadiklyutiy, @hickeyma, @divakar-amd, @yma11, @jzakrzew, @djramic, @simondanielsson, @microslaw, @Thangnguyenvn98, @mjkvaak-amd, @njhill, @chaojun-zhang, @sfeng33, @zhenwei-intel, @andyxning, @matteso1, @vMaroon, @alec-flowers, @simon-veitner-redhat, @TheEpicDolphin, @cagrikymk, @atalman, @shijie-lyu, @cheese-cakee, @Juntian777, @ivanium, @chaunceyjiang, @louie-tsai, @Dovis01, @apex-mochen, @wzhao18, @venkywonka, @pmanczak, @stecasta, @jinzhen-lin, @gty111, @noooop, @Rohan138, @rasmith, @laithsakka, @Fangzhou-Ai, @tlrmchlsmth, @Isotr0py, @cjackal, @vllmellm, @liusy58, @reidliu41, @peperunas, @shimib, @ojeda-e, @yonigozlan, @ShuoleiWang, @lucamotz, @ai-jz, @he-yufeng, @DimensionSTP, @taneem-ibrahim, @LucasWilkinson, @wangshangsam, @whx-sjtu, @micah-wil, @bzsuni, @robertgshaw2-redhat, @arpera, @sricursion, @mawong-amd, @mmastrac, @rmhaskarnvidia, @nvbfalk, @debanshd, @abmfy, @shaohuaxi, @jin-amd, @xijiaat, @ashraf-bhuiyan, @beenpow, @LioEinaudi, @Ronald1995, @R3hankhan123, @ZhengGong-amd, @Akashcodes732, @S1ro1, @yuvalluria, @mganczarenko, @DarkLight1337, @pisceskkk, @YidaWeng, @TQCB, @gau-nernst, @askliar, @benchislett, @jackLei0901, @vx120, @amd-mghanimi, @YueshenZ, @aniskumar-nv, @fululi12, @liuzijing2014, @zyongye, @Prudhvivuda, @kliuae, @wjabbour, @AbhayShuklaIIT, @WarrierRajeev, @Jeff-Tseng-dev, @yifanFengg, @elvircrn, @zupengwang, @tangzzycc, @jeejeelee, @roikoren755, @JohnQinAMD, @LeizhenZhang, @Chinmay-Kulkarni-AMD, @sungbin1015, @zhangchengzhucufe-dev, @fxmarty-amd, @lucianommartins, @nishantrevur, @hyukjlee, @andylolu2, @wangxiyuan, @stu-cao, @vineethsaivs, @zzaebok, @WoosukKwon, @franciscojavierarceo, @hpdkhoa, @gcanlin, @zigzagcai, @ultramancode, @warrendeng, @surajsharan, @subhashpolisetti, @ilmarkov, @awesome-pro, @faaany, @spandantiwari, @almogtavor, كذلك: @ahmed-bsod, @danigarciaoca, @Alnusjaponica, @NNNtrance, @vaclavcadek, @YashasviAsthana, @QwertyJack, @Ubospica, @AlanFokCo, @jungjiyu, @lcskrishna, @YukioZzz, @hubunt, @sashko-zakharchuk, @staryxchen, @yzong-rh, @Ostring24, @taking-lying-flat, @drakosha, @CorgiBoyG, @QHarshil, @zhou9402, @shiyuan680, @fjosw, @a-sidorova, @GOavi101, @mrodden, @fuscof-ibm, @Taimys, @Rukhaiya2004, @KernelClint, @almayne, @JulienDarve, @sshlyapn, @eldarkurtic, @rbrugaro-amd, @GuyStone, @ZhenchengLin, @ArcheyChen, @djmmoss, @hjjq, @namgyu-youn, @jiangyunfan1, @ganeshr10, @markmc, @yantinglai, @Id545, @roipony, @JadenMathias, @hclsys, @Anurag-M1, @ukannika, @blueberry808, @nv-hwoo, @guanxingithub, @stmatengss, @mohit-sarvam, @Legend-2727, @xiaoyu-xyz, @hdq66666, @Lcy0801, @gaby, @erictang000, @jdebache, @Ayu190505, @DOCCA0, @C1ves, @maeehart, @wangyicong52, @AIwork4me, @Woolgathererer, @yongqiw-i, @divyvasal, @1fanwang, @TyroneNel, @ShengleiFu, @bluemelov1, @kamb-code, @LiRunGuo, @Thiago4532, @harshaljanjani, @ieaves, @NolenLiang, @sudhanshu112233shukla, @abhayjoshi201, @charlesli640, @Sohaib-Ahmed21, @akii96, @notimesea, @JRJRJPRO, @usberkeley, @Mazukiri, @brandonfzhang, @amd-xavierwang, @sawsa307, @czhu-cohere, @wtdcode, @tarukumar, @LostFox11, @big-yellow-duck, @SherifWaly, @roG0d, @esmeetu, @mgehre-amd, @samnordmann, @SunnyR, @ovidiusm, @cleonard530, @eky-amd, @yinli-systems, @MadhavJivrajani, @cquil11, @ywang96, @PatrykSaffer, @PatchouliTIS, @aditi-amd, @git-jxj, @vovani, @MohammadHijjawi97, @TommyTranX, @viktorkou, @xaguilar-amd, @MohitAMD, @danichan-mkm, @pondzikk, @ebfio, @mkhazraee, @ai-yang, @xuantengh, @dhairyashilRG, @www6v, @v-shobhit, @ejrtks1020, @Kylinny, @bnkaiteam, @huishi-hs, @jiahanc, @shen-shanshan, @zxd1997066, @Aravind-11, @usmanmateen, @devshah-cohere, @praveingk, @JartX, @TylerMa-debugg, @lobo235, @dougbtv, @Tialo, @kyleliang-nv, @YeonwooSung, @Kevinli24, @aijanai, @spa5k, @DGlan, @Btwestyo, @xianbaoqian, @rdlh, @hao-aaron, @errmakov, @amd-sriram, @ntheanh201, وأيضًا: @LCAIZJ, @damienlaine, @shreyanshj10, @ischencheng, @0xViking, @yisustc, @bigPYJ1151, @Roy214, @Gregory-Pereira, @YuvrajSinghBhadoria2, @surawut-jirasaktavee, @Oxygen56, @andakai, @BolinSNLHM, @Dao007forever, @siliangchen-amd, @xiaofei-zheng, @gc-fu, @puneetsharma21, @linitra24, @devpramod, @yankay, @hlin99, @Godmook, @bvolpato, @UNIDY2002, @tc-mb, @JaredforReal, @hubert-marek, @Zhenzhong1, @AMD-yanfeiwang, @thuongvu, @JimmyWang0417, @MatthewCYM, @i-m-aditya, @lianakoleva, @peakcrosser7, @hoaivoke, @njriasan, @tjtanaa, @haotiaa, @superdiaodiao, @josh-schell-amd, @ztysth, @sungsooha, @Etelis, @natsala13, @ZhouXiaoya25