vLLM Releases

v0.32.0

# v0.32.0 ## أبرز الملامح يضمّ هذا الإصدار 814 التزاماً (commit) من 363 مساهماً (منهم 121 جديداً)! * **قرارات مُهيكلة ومُحلِّلات عامة**: النقطة النهائية الجديدة `POST /v1/systemone` تجيب عن أسئلة `choice` و`noul`…

v0.32.0

أبرز الملامح

تتضمن هذه الإصدار 814 التزاماً من 363 مساهماً (منهم 121 جديداً)!

  • قرارات مُهيكلة ومُحلِّلات عامة: النقطة النهائية الجديدة POST /v1/systemone تجيب عن أسئلة choice, noul و score عبر حالة مُهيكلة (#59299)، وتُخدَم افتراضياً (#60677، #60696)، وتعمل أيضاً على Cloudflare/clef-omni (#61064), LiquidAI/d1-3B (#60676) وDiffusionGemma (#60466). أداة hf الجديدة ومُحلِّل الاستدلال (--tool-call-parser hf, --reasoning-parser hf) يقرأان response_templateالخاص بنقطة التفتيش، فلا تحتاج النماذج التي تتضمنه إلى مُحلِّل خاص بالنموذج (#58604، #58602)، في كلٍّ من الواجهتين الأماميتين Python وRust (#59005).
  • ذاكرة KV cache منخفضة الدقة في كل مكان: تعمل الآن NVFP4 KV cache على SM8x وSM12x (#46963) وSM90 (#60620) ومع فك تشفير XQA على SM12x (#60452)، وعلى انتباه MiniMax-M3 المتناثر على SM100 (#59300)؛ وتعتمد GLM-5.x افتراضياً على ذاكرة FP8 KV cache على SM100، ما يُنصِّف ذاكرة KV لكل رتبة مع إنتاجية أعلى بنسبة 2.3-5.5% وكلفة TTFT بنسبة 7-11% في قياس أداء طلب السحب (#60140، #60281)؛ fp8_ds_mla على SM90 يمنح GLM-5.3-Flash إنتاجية إخراج أعلى تصل إلى 31% (#59246)؛ ويكتسب ROCm ذاكرة KV cache بدقة 4 بتات ultraquant_4bit بكثافة تفوق FP8 بنحو 2 مرة (#57057).
  • Model Runner V2: مُخمِّن n-gram على GPU مع مسودات متغيرة الطول (#40704)، وElastic EP (#53934)، وتوازٍ في الخطوط (pipeline parallelism) مع توازٍ سياق المعالجة المسبقة لنماذج MLA (#59139)، ووضع torch.compile قياسي (#59079)، وأصبح MRV2 الآن الافتراضي على ROCm مع إزالة استثناءات MRV1 الخاصة بنماذج بعينها (#56360).
  • بدء تشغيل وخدمة أسرع: vllm download-kernels يثبّت نوى FlashInfer المُجمَّعة مسبقاً (#58765)؛ vllm preload --preload-autotune يحافظ على جدول FlashInfer autotune دافئاً عبر إعادة التشغيل (#60085)؛ وساحة تُنسِبات (tensor arena) في الذاكرة المشتركة تبثّ مُنسِبات الوسائط المتعددة الكبيرة إلى العمّال بنسخة واحدة (#51207)؛ ويُحمَّل المُرمِّزات (tokenizers) والمعالجات من اللقطة المحلية (#60825)؛ ومع --api-server-count أعلى من 1 يذهب كل اتصال إلى عامل API الأقل تحميلاً، ما يمنح 43-85% طلباً إضافياً في الثانية على الطلبات القصيرة (Qwen3-0.6B، 32 رمزاً مُدخَلاً / 1 رمز مُخرَج) في قياس أداء طلب السحب (#60723).
  • دعم النماذج: تضمينات omni-modal جديدة EmbeddingGemma 2 (#60254)، وMiniCPM-V 4.7 (#58674)، وNemotron 3.5 ASR (#59827)؛ ودخل الفيديو في خلفية النمذجة Transformers (#57441)؛ وتحويلات فهرس GLM-5.3 sparse MLA مُعاد استخدامها عبر الطبقات (3.5-3.9x على تلك النواة، #59464) وفك تشفير مسودات متعدد الخطوات مدمج (13.3% عند تزامن 1، #57443)؛ وتخزين مؤقت للموقع لكل طلب في HiSparse يمنح إنتاجية أعلى تصل إلى 58% على GLM-5.3-NVFP4 على B200 مع سياقات طويلة مُقيمة بالكامل على GPU عند تزامن مرتفع (#60083).
  • الأمان: إصلاحات لـ GHSA-4hhp-h66f-j5j7 (استنزاف موارد قالب المحادثة، #50300)، وGHSA-q97c-p368-75c4 (المُرمِّز max_token_id، #59491) وGHSA-frvg-qw88-hww9 (استنزاف مقابس ZMQ عبر P2P، #51504)؛ ولم يعد CORS يسمح بكل المنشأ افتراضياً (#61009)؛ وتقتصر الصور غير الموثوقة على الصيغ النقطية (#60022)؛ وتُوقَّع مقابض الذاكرة المشتركة لذاكرة الوسائط المتعددة المؤقتة (#59357)؛ ويُرفض مخططات JSON المتداخلة على أعماق تتجاوز 64 مستوى (#60036).
  • تغييرات جذرية: إسقاط Python 3.10 (#60402)؛ وتقييد مناشئ CORS الافتراضية (#61009)؛ transformers>=5.16.1,<5.20.0 و tokenizers>=0.23.2 (#57387, #59796)؛ تمت إزالة تمريرات torch.compile للتتابع المتوازي وAsyncTP (#60517)؛ تمت إزالة الاهتمام المتتالي (#61126)؛ mamba_cache_mode="all" تمت إزالته (#58997)؛ max_tokens لم يعد محجوزًا من نافذة السياق (#57035)؛ تمت إعادة تسمية أحداث بث الاستدلال في واجهة Responses API (#59652).

مخرجات الإصدار

حزم Python Wheels

المنصة التثبيت
PyPI (CUDA 13.0) pip install vllm
PyPI (CUDA 13.0, uv) uv pip install vllm --torch-backend=auto
ROCm pip install vllm --extra-index-url https://wheels.vllm.ai/rocm/0.32.0/rocm723
XPU uv pip install vllm --extra-index-url https://wheels.vllm.ai/0.32.0/xpu --extra-index-url https://download.pytorch.org/whl/xpu --index-strategy unsafe-best-match

صور Docker

المنصة صورة Docker
CUDA 13.0 (الافتراضي) docker pull vllm/vllm-openai:v0.32.0
CUDA 12.9 docker pull vllm/vllm-openai:v0.32.0-cu129
CUDA 13.0 + Ubuntu 24.04 docker pull vllm/vllm-openai:v0.32.0-ubuntu2404
CUDA 12.9 + Ubuntu 24.04 docker pull vllm/vllm-openai:v0.32.0-cu129-ubuntu2404
ROCm docker pull vllm/vllm-openai-rocm:v0.32.0
المعالج المركزي CPU docker pull vllm/vllm-openai-cpu:v0.32.0
XPU docker pull vllm/vllm-openai-xpu:v0.32.0

مخرجات أخرى

المخرجات المُجمَّعة مسبقًا متوفرة في قسم Assets في أسفل هذه الصفحة، وتشمل: - حزمة tarball للتوزيع من المصدر - عجلات بايثون CUDA 12.9 لمعماري x86_64 وarm64 - عجلات بايثون CUDA 13.0 لمعماري x86_64 وarm64 - عجلات بايثون CPU لمعماري x86_64 وarm64 وmacOS - عجلة بايثون XPU لمعمارية x86_64

دعم النماذج

  • نماذج جديدة: EmbeddingGemma 2 (google/embeddinggemma-2)، وهو نموذج تضمين متعدد الوسائط بالكامل للنص/الصورة/الصوت/الفيديو، مع تخطي مُرمِّزات الوسائط غير المستخدمة عبر --limit-mm-per-prompt (#60254, #60289)؛ MiniCPM-V 4.7 (#58674)؛ Nemotron 3.5 ASR (nvidia/nemotron-3.5-asr-streaming-0.6b) لنسخ الصوت الكامل؛ البث الفوري في الوقت الحقيقي غير مدعوم بعد (#59827)؛ Cloudflare/clef-omni (#61064) و LiquidAI/d1-3B (#60676) على /v1/systemone؛ محللات الاستدلال والأدوات PLaMo 3 (#56575)؛ وقالب تقييم إعادة الترتيب zerank-2 (#60415).
  • خلفية النمذجة Transformers: مدخلات الفيديو (#57441)، ونماذج Glm وArcee وCWM وMellum (#59679) وGPT-NeoX وPhi وSeed-OSS وJais2 (#59701) تُقدَّم الآن من خلالها.
  • قدرات نماذج جديدة: LoRA لنماذج التضمين BERT وRoBERTa وXLM-RoBERTa (#61033)؛ Granite كهدف لـ EAGLE3/DFlash (#60855)؛ Qwen3-ASR EAGLE3 (#52824)؛ Sarvam MLA EAGLE3/DSpark مع PP (#55902)؛ GLM-5.3-Flash مع المسوّد DFlash2 (#56983)؛ وMiniMax-M3 EAGLE3 عند PP > 1 على MRV2 (#57197) مع مشاركة تضمينات الهدف من MTP تحت PP (#58648).
  • GLM-5.3 وGLM-5.3-Flash: تحويل فهرس MLA المتناثر مُعاد استخدامه عبر الطبقات (#59464)، وفك ترميز المسودة متعدد الخطوات المدمج (#57443)، وذاكرة KV المؤقتة FP8 كافتراضي على SM100 (#60140, #60281)، fp8_ds_mla على SM90 (#59246)، وتخطي qlnorm لـ MHA (تحسن 4.4-7.7% في TTFT، #58845)، وتقسيم prefill المفهرس للسياق الطويل عبر TP (انخفاض TTFT بنسبة تصل إلى 25% عند سياق 1M، #54951)، وDCP لمفهرس kpool (#59211, #60032)، ونقاط فحص prefill لـ KDA مع FlashKDA (#56960)، وذاكرة KV بـ FP8 على SM90 مع MLA المتناثر (#55222)، --mamba-ssm-cache-dtype المُراعاة لحالة KDA (#59147)، وتخطيط KV مُعبأ عام (#57169)، واستعادة مشاركة فهرس MTP (#61079)، وإصلاحات لأعطال برج الرؤية (#59126)، وموازنات مُرمِّز الصور غير المربعة (#59565)، وبدء تشغيل DP (#56974)، وطوابع زمنية للفيديو (#55647)، والحالات المخفية المساعدة لـ DFlash2/EAGLE3 (#60763) وكتابات الكتل الفارغة (#59528).
  • DeepSeek-V4 وV4.1: إعادة تشغيل مُقيَّدة لـ SWA على جانب وحدة فك الترميز (#58132) مع طبقات إعادة التشغيل في رسوم CUDA البيانية ومقتطعة في رسوم PIECEWISE (compilation_config.decoder_replay_trim_threshold, #59532) بالإضافة إلى قصّ طبقة مصدر KV الأخيرة (+3.6%, #59894)، وتبادل Engram المعبأ بـ FP8 عبر DP (#59923)، وعمليات بحث Engram أسرع مع التفريغ على CPU (#59327)، وصياغة MTP مدمجة لـ DeepSeek V4 (#58463)، وتعبئة الرسم البياني CUDA للمُرمِّز لـ V4.1 وKimi-K3 (انخفاض متوسط TTFT بنسبة 11%, #58925)، وEPLB لمسوّدات DSpark (#57549)، وإصلاحات لنقاط فحص NVFP4 مع قبول مسودة 0% (#59655)، وترتيب إنهاء الخبير المشترك في MegaMoE (#59927)، ومدخلات وهمية لأسوأ حالة في الرؤية (#57898, #59271)، وكتابات الكتل الفارغة في حلقة الضاغط (#58560)، وتكميم المفهرس في Triton 3.9 (#60716)، ورسوم CUDA البيانية لإعادة تشغيل وحدة فك الترميز مع خلفيات FlashInfer EP MoE (#61041).
  • Qwen: إسقاطات QSA مدمجة في GEMM واحد لـ Qwen3.8-Flash-Next (Qwen4Exp) (1.45-1.68x, #59533)، ومفهرس مسبق QSA مدمج (#57097)، وتوازٍ تسلسلي عبر --enable-hc-sp (#56322)، وخطط GEMM لفك الترميز منخفض الكمون على SM100 (تصل إلى 2.7x مقارنة بـ cuBLAS عند M الصغيرة، #59214)، --kv-cache-dtype-skip-layers (#60023)، وتحميل PLE لـ INC (#59990) وQuark (#59443) ووحدات GPU الأقدم من SM89 (#60142)؛ ذاكرة M-RoPE المؤقتة لـ Qwen3-VL/Qwen3.5/Qwen3.8 أصغر بـ 4 مرات وتطابق YaRN في Qwen3.5 مع Transformers (#59853)؛ إصلاحات M-RoPE لـ Qwen3-Omni (#58890، #59842)؛ Qwen3-ASR على المعالج الأصلي (#57146)؛ معدل إطارات الفيديو غير المعروف في Qwen3-VL (#60501) والخيارات الخاصة بكل فيديو مع الذاكرة متعددة الوسائط المؤقتة (#55203).
  • Kimi-K3 وMiniMax-M3: Kimi-K3 FlashInfer fused speculative KDA على SM100 (#54255)، معالج رؤية مدمج (معالجة أولية أسرع بـ 10-20 مرات عند 1080p-8K، #59278)، حزمة K/V مدمجة على مسار prefill الخاص بـ DCP (#56881)، وDSpark KV cache عاد إلى 4 مجموعات (#59733)؛ MiniMax-M3 MSA prefill باستعلام E4M3 (أسرع بـ 26-37% مع FP8 KV، #60684)، ذاكرة فهرس FP8 مؤقتة على وحدات GPU غير SM100 (#59081)، ضبط مفهرس Triton (#56151، #59481)، وإصلاحات درجات الفهرس (#60194، #54597).
  • متعدد الوسائط: تطبيع المدخلات على جانب الجهاز لـ Qwen3-VL/Qwen3.5/Qwen4Exp (#51289)، وGLM-V وGLM-OCR (#55389)، وLlama Nemotron VL (#57928) وKimi K2.5/K3 (#59278)، مع الإبقاء عليها مدمجة بموجب compile_mm_encoder (#59195)؛ مدخلات المشفّر مرتبة حسب الوسيط (زيادة بنسبة 6.5-8.2% في req/s، #60196)؛ معالجة أولية أسرع بـ 8% لـ Mistral 3 (#57531)؛ Pixtral compile_mm_encoder (#57168)؛ وإصلاحات لـ Llama 4 / Mistral Large 3 EAGLE drafters (تراجع منذ v0.28.0، #57633)، ونفاد الذاكرة OOM في صوت Phi-4 MM (#60614)، وبكسلات zero-sum في DeepSeek-OCR (#59417)، وMiMo-V2.5/V2.6 مع fastsafetensors (#58142)، وذاكرة FP8 KV المؤقتة لـ MiMo-V2.6 (#58128)، وVoxtral realtime (#45022)، وLayerNorm في رؤية Nemotron Super (#61401)، وإعدادات K-EXAONE وMTP RoPE (#60187)، وNemotron Parse tied lm_head (#60272)، وتحميل MTP لـ LongCat-Flash (#60080) وLing-3.0-flash-VL (#59026).

نواة المحرك

  • مشغّل النماذج الإصدار 2: متخمّص n-gram على GPU (#40704)، وElastic EP مع توسّع drain-then-commit (#53934)، وPP مع PCP لنماذج MLA (#59139)، STOCK_TORCH_COMPILE وضع (#59079)، وK الديناميكي في المتخمّصات الانحدارية (#57053)، وإعادة تشغيل قناع أخذ العينات MTP (#59359)، ورؤوس LM لكل وحدة (#58921)، ونسخ H2D غير حاجزة على WSL2 (#60215)، وإصلاحات لإزاحات فهارس int64 عند السياق الطويل (#60736)، والتسخين المسبق (#61013)، ونقاط تفتيش GDN prefill (#59536)، ومحاذاة حالة MRV2+PP+MTP (#60210).
  • فك التشفير التخميني: فك تشفير مسودة متعدد الخطوات مدموج على FlashInfer trtllm-gen (#58371)، وFlashInfer ReplaySSM لـ Mamba2 MTP (#52928)، وبيانات وصفية داخل المخطط لمسودات DFlash/DSpark (#60692)، وإصلاحات صحّة لـ ngram على النماذج الهجينة المتكرّرة (#56531)، ونقاط تفتيش Mamba prefill مع MTP والتخزين المؤقت للبادئة (#59759, #60797)، وتقليم سلاسل التوقف (#47616)، وإعدادات نموذج المسودة (#61240)، والتحقق التكيّفي بالكتل (#60945)، وفتحات DSpark الإضافية (#59105)، ونماذج المسودة على الواجهة الخلفية Transformers (#59293).
  • النماذج الهجينة والتخزين المؤقت للبادئة: نقاط تفتيش Mamba2 داخليّة prefill لـ NemotronH وGranite-4.0-H وFalcon-H1 وZamba2 (#57329)، وتجاهل تجزئات الكتل القديمة عند اقتطاع جلسات البث (#59103)، وإصلاحات لـ Mamba-2 المكمّمة مع TP (#58083)، وأحجام صفحات فك التشفير التخميني (#59975)، وحدود ذاكرة البادئة المؤقتة (#55601, #60533)، وأخطاء NaN في Mamba2 على sm90 (#61718).
  • السكون والتعلم المعزّز: يحرّر وضع السكون مساحة العمل المؤقتة (حتى 4.5 GiB لكل GPU، #59156) وحالة KV-init (نحو 4.6 GiB لكل GPU، #59158)، وخيار sleep_mode_offload_cudagraph (#59160, #59523)؛ ونطاقات إصدار الأوزان على مستوى الرمز في المخرجات (#59582, #61070)؛ ومحرّكات اتصال نقل الأوزان تُحرَّر دون إيقاف الاستدلال (#61060)؛ --sleep-preserve-parameter-names 'draft.*' (#61046); modelexpress الواجهة الخلفية لنقل الأوزان (#58399)؛ POST /weight_checker (#51350)؛ ومقاييس نقل الأوزان (#55781)؛ --enable-nccl-comm-suspend تحرير مساحة عمل MNNVL (#59360)؛ و sleep(level=2) الاحتفاظ بمقاييس FP8 KV (#57163).
  • HiSparse: ذاكرة إقامة مؤقتة لكل طلب (حتى 58% عند التزامن العالي مع سياقات مقيمة على GPU، #60083)، وتقليل عبء المُجدول (#57930)، وإقامة على GPU مملوكة لـ HiSparse (#60647)، وذاكرة تدريج أقل (#60429)، ومؤشرات ذاكرة التخزين المؤقت على المضيف (#58949, #59485)، وإصلاحات لحدود رموز فك التشفير (#60682) وتعليقات TP (#60941).
  • الإقلاع والذاكرة: ساحة موترات بالذاكرة المشتركة (--enable-shm-tensor-arena، مفعّلة افتراضيًا، #51207)، وFast Start مع PP (#55477)، والأوزان المحتجزة من الخادم الخفي تُحتسب ضمن gpu_memory_utilization (#57298)، والتحميل المسبق للضبط التلقائي (#60085)، ولقطات مُرمِّز محلية (#60825)، sparse_mla_prefill_workspace_factor بتوفير عدة GiB عند سياق 1M (#61023)، واستعادة الذاكرة المخزنة مؤقتًا أثناء تحميل الأوزان (#57516)، وتقليل عمليات ترجمة تسخين مُعيّن Triton (#58605)، ومحمّل حالة مُقسّم مع PP (#52110)، و reload_weights مع مُبثّق Run:ai (#58124).
  • الأنوية وزمن التشغيل: ضبط MoE weighted-sum (بمعدل 1.17-2.37x، #59731)، وأنوية flash-maxsim لتقييم ColBERT/ColPali (#40337)، وإزالة الترميز الاحتياطية بوحدة معالجة مركزية أقل بنسبة 69% عند 32K رمزًا (#60497)، وطابور تحرير كتل KV أسرع (#60269)، وإيقاف أنوية Triton tl.make_block_ptr (#60502)، واستعادة تمريرات الدمج تحت PyTorch 2.15 (#57299) ودمج تكميم FP8 الثابت على إصدارات torch الحديثة (#61108).
  • ثبات الدفعات: تخفيض مخصص تحت VLLM_BATCH_INVARIANT=1 (#58623)، وتقليص LoRA بحلول split-K حتمي (#59377)، وفحص كل واجهات الانتباه الخلفية (#60271)، وإعدادات TP لـ SM120 (#58495)، ودعم ROCm (#52231).
  • قابلية الرصد: vllm:prompt_tokens_cached_by_source_total (#56318), vllm:num_requests_kv_fetch_by_stage (#58874), vllm:admission_rejections_total (#55812), vllm:watermark_requests (#58715), --custom-histogram-buckets (#48867)، ومنسّق سجلات JSON عبر LoggingConfig.formatter (#58739)، وعناصر تحكم التنميط لكل جلسة (#57875).

الخدمة على نطاق واسع

  • MoE communication: FlashInfer CuteDSL MegaMoE لدعم المزيد من النماذج عبر --moe-backend flashinfer_cutedsl (#54049)، ودمج FP8 لـ FlashInfer one-sided all2all (+4% عند DEP8، #57995)، وNCCL symmetric-memory MoE reduce-scatter (انخفاض زمن الوصول بنسبة 9.6-16%، #49194)، ووضع DeepEPv2 الهجين NVLink+RDMA مفعّل افتراضيًا (#57991)، والخبراء المشتركين في Kimi-K3 مع DeepEP v2 (#56875)، وتجميع ترحيل EPLB الاختياري (#52641).
  • التوازي السياقي: طلبات decode موزعة عبر رتب PCP (#52162) وTokenSpeed MLA مع block-interleaved DCP لتجزئة NIXL غير المتجانسة (#59462).
  • موصلات KV: نسخ NIXL host-buffer مجمّعة (#54483)، وأحجام كتل مختلطة (#58860)، واسترداد بيانات وصفية من الأقران (#55471) وقبول Qwen3.8-Flash-Next MTP في P/D (#59997)؛ ومناطق Mooncake المجمّعة الهجينة/MLA عبر RDMA (#57952) وإعادة محاولة bootstrap (#55923)؛ وMoRIIO Kimi-K3 DSpark READ (#57700)؛ وDeepSeek-V4.1 P/D تخطي إعادة التشغيل المحدودة لـ KV المحمّلة (#59197)؛ وواجهة KVCR pool-and-index API (#59899).
  • التوازي في البيانات: طلبات streaming مثبتة على محركها (#59017)، وتدفقات RNG لكل محرك (#59788)، ومجموعات توزيع بدون ray[default] (#57648).

العتاد والأداء

  • NVIDIA: FlashMLA sparse prefill أصلي بـ 64 رأسًا على SM100 (1.16-1.18x TTFT، #60029)، وخبراء DeepGEMM block-FP8 مع تخطي الحشو (#59128)، وانتباه SM120 split-K (#58482)، وخطط DGX Spark Qwen4Exp GEMM (#59753، #59632، #60027)، وOAI Triton MXFP4 MoE على SM12x (#58877)، وذاكرة تخزين مؤقت FlashInfer autotune لكل رتبة (#57635).
  • AMD ROCm: DeepSeek-V4 AITER MegaMoEV2 عبر --moe-backend aiter_mega_moe (#59685) مع دمج shared-expert اختياري (3-8%، #61004)، وفك ترميز mono اختياري لـ DeepSeek-V4.1-Flash على MI355X (VLLM_ROCM_MONO_DECODE=1، #60397)، وGluon sparse MLA اختياري (حتى +16% على GLM-5.2، #53492)، وpaged MXFP4 indexer (#58671)، وa4w4 MoE اختياري لـ DSv4 (#58819)، ultraquant_4bit KV cache (#57057)، aiter_flydsl GDN prefill (#57560)، وcheckpoints لـ Kimi-K3 prefill (تحسّن بنحو 20% في TTFT، #58344)، وfused MLA decode (#57640)، وper-rank latent MoE shards (#59591)، وGLM-5.3-Flash split-K sparse MLA decode (انخفاض 5-15% في ITL، #58584)، و merge_attn_states أصلي (2.4x، #60159)، ROCM_SEGMENTED_ATTN لـ RDNA (#59132)، وضبط gfx11 W4A16 (حتى 23% في TTFT، #56301)، وMRV2 كافتراضي مع إزالة استثناءات MRV1 الخاصة بنماذج محددة (#56360)، وإصلاحات لـ segfaults في وضع sleep على ROCm 7.2+ (#60367) وإعادة تحميل أوزان MLA (#60389).
  • Intel XPU: MLA في FLASH_ATTN_MLA (#58297)، وArc Pro B70 FP8 GEMM (2.0-2.73x، #56063) وconfigs لـ fused MoE (#53065)، وfused SYCL LayerNorm (#57172)، وإصلاحات لـ Gemma-2 softcap (#58936) وDP+EP MoE (#57787).
  • CPU: sampler متجهي (حتى 58x على s390x، #53913)، وaarch64 causal conv1d (نحو 9%، #54093)، وPOWER10 AWQ/GPTQ (#59149)، وPowerPC dtype=auto اختيار bfloat16 (#58528).
  • أخرى: tpu-inference v0.31.0 (#60190) ومنصات out-of-tree تسجّل عدة attention backends (#41091).

التكميم

  • قدرات جديدة: إعادة تكميم فورية لطبقات linear (--quantization-config.linear fp8_per_channel، #55684)، وper-token NVFP4 CuTe-DSL MoE (#50030) مع ReLU2 (#56740)، وMXFP4 MoE oracle مع CUTLASS W4A4 وBF16 fallback (#60079)، وcompressed-tensors MXFP4 MoE مع تنشيطات FP8 (#59815)، وModelOpt IQ2_XS/IQ2_XXS/Q8_0 على SM120/SM121 (#59604)، int4_per_token_head KV مع رؤوس غير قوى العدد اثنين (#56198)، وتفضيل Humming على Marlin على SM90 (#56997).
  • إصلاحات: تلف صامت في CUTLASS NVFP4/MXFP4 MoE تحت EP (#59042)، وGPTQ مع أسماء safetensors غير افتراضية (#60411)، moe_wna16 نقاط صفر غير متماثلة بـ 8 بت (#58950)، واكتشاف ModelOpt mixed-precision NVFP4 (#56050).

API والواجهة الأمامية

  • نقاط نهاية وخيارات جديدة: /v1/systemone (#59299, #60677, #60696), hf parser (#58604)، vllm download-kernels (#58765), output_mode: "text" و stop_reason في /inference/v1/generate (#58588, #60251), mm_payload لطلبات render (#61427، #60728)، وResponses min_p و stop_token_ids (#48084, #56592), LLM.chat(priority=...) (#57243)، و /generative_scoring cache_salt (#60841).
  • السلوك: max_tokens هو حدّ أعلى بدلاً من حجز أدنى، لذا لم تعد المطالبات الطويلة تُرفض (#57035)؛ اختيار عامل API الأقل حملاً (#60723)؛ التحقق من توافق محلل الأدوات عند بدء التشغيل (#59749).
  • استدعاء الأدوات والمخرجات المنظمة: parallel_tool_calls=false مفروضة (#50502, #59298)، tool_choice="required" البث (#60354) ومحللات XML الأصلية (#47512)، Step-3.5 و minimax_m3 على محرك المحلل (#59321, #59743)، وxgrammar propertyNames (#57594)، وLoRA PEFT rank_pattern/alpha_pattern مطبقة مع رفض الميزات غير المدعومة (#59801, #60225).
  • الواجهة الأمامية Rust: --grpc-port (#59659), --stream-interval (#60589), logprob_token_ids (#59549), Control.Shutdown مع vllm-proto 0.5.0 (#59316), qwen3_json محلل (#60136)، وإصلاحات قواعد نحو Kimi K3 (#59190, #59395).

الأمان

  • GHSA-4hhp-h66f-j5j7: يتم التحقق من قوالب المحادثة بشكل ساكن ويُعرض تحتها مهلة زمنية (VLLM_CHAT_TEMPLATE_RENDER_TIMEOUT)، وتُرفض القيم المقدمة من المستخدم chat_template في Responses chat_template_kwargs ، وتحدّ الواجهة الأمامية Rust من تنفيذ القوالب (#50300).
  • GHSA-q97c-p368-75c4: إصلاح خطأ تجاوز الحد max_token_id في المُقطّع (#59491).
  • GHSA-frvg-qw88-hww9: جلسات نظراء ZMQ من نوع P2P محدودة بـ VLLM_P2P_MAX_PEERS (الافتراضي 128)، VLLM_P2P_HANDSHAKE_TIMEOUT_S (الافتراضي 30) و VLLM_P2P_IDLE_TIMEOUT_S (الافتراضي 300)، بحيث لا يمكن لعناوين النظراء الفريدة استنفاد مقابس ZMQ بعد الآن (#51504).
  • لم تعد إعدادات CORS الافتراضية تسمح بكل المصادر في الواجهتين الأماميتين Python وRust؛ اضبط --allowed-origins للسماح بمصادر المتصفح (#61009).
  • تُفتح الصور غير الموثوقة باستخدام قائمة سماح لصيغ البيانات النقطية (ALLOWED_IMAGE_FORMATS)، مع رفض EPS/PostScript وWMF (#60022)؛ مقابض ذاكرة التخزين المؤقت متعددة الوسائط للذاكرة المشتركة موقّعة بـ HMAC وتُرفض المقابض المزوّرة (#59357).
  • مخططات JSON للمخرجات المنظمة المتداخلة لأكثر من 64 مستوى تُرجع 400 (#60036)؛ طلبات /v1/embeddings المجزّأة تحافظ على cache_salt (#47696)؛ لم يحتفظ Phi-4 MM الصوتي بعد الآن بمصفوفات انتباه بحجم عدة غيغابايت (#60614)؛ لم تعد موترات البكسل صفرية المجموع في DeepSeek-OCR تقتل EngineCore (#59417).
  • ترقيات تبعيات أمنية: aiohttp>=3.14.3, pillow>=12.3.0وcryptography وurllib3 وpyjwt وغيرها (#59249, #59315, #59427).

التبعيات

  • transformers>=5.16.1,<5.20.0 (تم رفع الحد الأدنى من 5.10.4، #57387، #59762) و tokenizers>=0.23.2 (#59796).
  • NIXL 1.5.0 (#56907)، واجهات CuTe DSL 4.8.0 block-scale (#59480)، humming-kernels==0.1.17 مع دعم أولي لـ Rubin (#61556، #61858)، وInstantTensor 0.2.2 (#61167)، و flashinfer-jit-cache مستثنى من ملف wheel install_requires (#60052).
  • ROCm: AITER 0.1.24.post1 (#59794) وMoRI v1.2.3.post1 (#56073). XPU: auto-round-lib 0.16.0 (#60976). TPU: tpu-inference v0.31.0 (#60190).

البناء

  • يتم دعم Python 3.11-3.14 (#60402)؛ وحُزم wheels لنظام macOS بُنيت باستخدام الواجهة الثنائية المستقرة stable ABI (#60312)؛ وتبني CUDA من المصدر يتطلب GCC 13 ويفشل مبكرًا في حال عدم توفرها (#60259)؛ وتقوم صور Docker بترجمة الشيفرة البايتية لـ Python وقت البناء لتسريع بدء تشغيل الحاويات (#55422)؛ VLLM_USE_PRECOMPILED يجد عجلة منشورة متوافقة ضمن آخر 20 إيداعًا (#58871)؛ ويستخدم DeepGEMM المضمّن في المستودع TORCH_LIBRARY (abi3، #48962).

التغييرات الكاسرة والإيقافات التدريجية

  • لم يعد Python 3.10 مدعومًا؛ الحد الأدنى هو Python 3.11 (#60402).
  • تم تغيير نطاقات CORS الافتراضية من * إلى لا شيء؛ عيّن --allowed-origins لمتصفحات العملاء (#61009).
  • transformers>=5.16.1,<5.20.0 و tokenizers>=0.23.2 مطلوبة (#57387، #59796).
  • تمت إزالة مراحل التوازي التسلسلي في torch.compile ومراحل AsyncTP، إلى جانب PassConfig.enable_sp, fuse_gemm_comms و sp_min_token_num; موازاة التسلسل على مستوى النموذج غير متأثرة (#60517).
  • تمت إزالة الانتباه الشلالي (Cascade attention)؛ --disable-cascade-attn لا يزال يتم تحليله ولكنه يُصدر تحذيرًا فقط وستتم إزالته في v0.33.0 (#61126).
  • mamba_cache_mode="all" تمت إزالته؛ --mamba-cache-mode all يفشل الآن في التحقق من الصحة (#58997).
  • تمت إزالة واجهات برمجة التطبيقات التي تم إهمالها سابقًا: wait_for_inflight_requests (استخدام mode="wait"), AsyncLLM.pause_generation(), IOProcessor.output_to_response, vllm.scripts.main() و vllm bench throughput --dataset (#60923). ال sonnet تمت إزالة مجموعة البيانات المرجعية (benchmark) كما هو مخطط لها (#60129)، وتمت إزالة دعم Tensorizer من LoRA (#60024)، و PyO3 vllm._rust_tool_parser تمت إزالة الجسر (#59744).
  • تغييرات API: max_tokens يُعامل كحدٍّ أقصى للمخرجات بدلاً من أن يكون محجوزًا من نافذة السياق (#57035)؛ البث في Responses API يستخدم response.content_part.added/done مع part.type="reasoning_text" بدلاً من response.reasoning_part.added/done (#59652); SamplingParams.prompt_logprob_token_ids لكل صف (#56984); /inference/v1/generate تستخدم logprobs معرّفات رموز صحيحة (#58181)؛ وتوحي استجابات واجهة sleep معيارياً والمستويات غير الصالحة تُرجع 400 (#52864)؛ return_mm_kwargs تم إهمالها لصالح mm_payload (#61427).
  • العلامة المائية: عندما تكون العلامة المائية مُهيأة في المحرك، يعني حذف حقل الطلب أنها مُفعّلة وفقط false يستبعد الخيار؛ المجموعات غير المدعومة تُصدر تحذيرًا وتعود إلى الوضع الافتراضي (#56801).
  • واجهة Rust الأمامية: qwen3_xml تحلل الآن XML الخاص بـ Qwen3-Coder (الاسم البديل لـ qwen3_coder)؛ استخدم qwen3_json الجديد لصيغة JSON (#60136).
  • إعدادات افتراضية جديدة: tensor arena للذاكرة المشتركة مفعّل (#51207)؛ KV cache بنمط FP8 لـ GLM-5.x على SM100 مع --kv-cache-dtype auto (#60140, #60281); VLLM_DEEPEP_V2_ALLOW_HYBRID_MODE=1 (#57991)؛ تفضيل Humming على Marlin على SM90 (#56997)؛ sparse_mla_prefill_workspace_factor 2 فوق 256K max_model_len (#61023)؛ MRV2 على ROCm مع إزالة استثناءات MRV1 الخاصة بموديلات محددة (#56360)؛ VLLM_ROCM_AITER_MLA_DCP_VERIFY=auto (#59965); dtype=auto يختار bfloat16 على PowerPC (#58528)؛ نقاط تفتيش MXFP4 W4A4 تعود إلى W4A16 مع تحذير عند عدم وجود kernel يدعم W4A4 (#60079).
  • تحقق أكثر صرامة: يتم رفض --prefix-match-unit (#58021), max_num_scheduled_tokens=0 غير المتوافقة (#60714)، وHiSparse مع cudagraph_mode=FULL (#59688)، والقيم السالبة لـ --device-ids (#49053) عند بدء التشغيل.

مساهمون جدد

  • قدّم @0xViking أول مساهمة له في https://github.com/vllm-project/vllm/pull/60053
  • قدّم @1fanwang أول مساهمة له في https://github.com/vllm-project/vllm/pull/40986
  • قدّمت @a-sidorova أول مساهمة لها في https://github.com/vllm-project/vllm/pull/55335
  • قدّم @AbhayShuklaIIT أول مساهمة له في https://github.com/vllm-project/vllm/pull/59763
  • قدّم @ahmed-bsod أول مساهمة له في https://github.com/vllm-project/vllm/pull/58655
  • قدّم @ai-yang أول مساهمة له في https://github.com/vllm-project/vllm/pull/58088
  • قدّم @AIwork4me أول مساهمة له في https://github.com/vllm-project/vllm/pull/54706
  • قدّم @AlanFokCo أول مساهمة له في https://github.com/vllm-project/vllm/pull/57163
  • قدّم @AMD-yanfeiwang أول مساهمة له في https://github.com/vllm-project/vllm/pull/61004
  • قدّم @aniskumar-nv أول مساهمة له في https://github.com/vllm-project/vllm/pull/53020
  • قدّم @Anurag-M1 أول مساهمة له في https://github.com/vllm-project/vllm/pull/57693
  • قدّم @Aravind-11 أول مساهمة له في https://github.com/vllm-project/vllm/pull/60098
  • قدّم @awesome-pro أول مساهمة له في https://github.com/vllm-project/vllm/pull/58895
  • قدّم @Ayu190505 أول مساهمة له في https://github.com/vllm-project/vllm/pull/57995
  • قدّم @beenpow أول مساهمة له في https://github.com/vllm-project/vllm/pull/57648
  • قدّم @big-yellow-duck أول مساهمة له في https://github.com/vllm-project/vllm/pull/59132
  • قدّم @blueberry808 أول مساهمة له في https://github.com/vllm-project/vllm/pull/58932
  • قدّم @bluemelov1 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58560
  • قدّم @bnkaiteam أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60507
  • قدّم @brandonfzhang أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/56881
  • قدّم @Btwestyo أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59924
  • قدّم @bvolpato أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/55203
  • قدّم @C1ves أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58890
  • قدّم @charlesli640 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59977
  • قدّم @cheese-cakee أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59079
  • قدّم @CorgiBoyG أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/55596
  • قدّم @damienlaine أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/45022
  • قدّم @danichan-mkm أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59285
  • قدّم @danigarciaoca أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/56372
  • قدّم @debanshd أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/57476
  • قدّم @devpramod أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60855
  • قدّم @devshah-cohere أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60286
  • قدّم @DGlan أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59875
  • قدّم @dhairyashilRG أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58911
  • قدّم @DOCCA0 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/52641
  • قدّم @Dovis01 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/56994
  • قدّم @ebfio أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58165
  • قدّم @ejrtks1020 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59180
  • قدّم @eky-amd أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/54857
  • قدّم @gaby أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59126
  • قدّم @haotiaa أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60766
  • قدّم @harshaladhav-amd أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58268
  • قدّم @hdq66666 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59695
  • قدّم @hoaivoke أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/61033
  • قدّم @hpdkhoa أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60747
  • قدّم @hubert-marek أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/61000
  • قدّم @hubunt أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/47512
  • قدّم @huishi-hs أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58053
  • قدّم @hyukjlee أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59965
  • قدم @Id545 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59247
  • قدم @ieaves أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/52824
  • قدم @ischencheng أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60763
  • قدم @Jeff-Tseng-dev أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59396
  • قدم @jiangyunfan1 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/57780
  • قدم @JimmyWang0417 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/61081
  • قدم @jin-amd أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58904
  • قدم @JRJRJPRO أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59879
  • قدم @Kevinli24 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58878
  • قدم @Kylinny أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60354
  • قدم @Lcy0801 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58975
  • قدم @Legend-2727 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59293
  • قدمت @lianakoleva أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60136
  • قدم @LiRunGuo أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/56198
  • قدم @lobo235 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60364
  • قدم @LostFox11 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58542
  • قدم @MadhavJivrajani أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/57635
  • قدم @MatthewCYM أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/57146
  • قدم @Mazukiri أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60036
  • قدم @MohammadHijjawi97 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59072
  • قدم @MohitAMD أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/55053
  • قدم @nishantrevur أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59541
  • قدم @njriasan أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/60502
  • قدم @NNNtrance أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/55647
  • قدم @NolenLiang أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/56974
  • قدم @notimesea أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59105
  • قدم @ntheanh201 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/57734
  • قدم @nv-hwoo أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58399
  • قدم @ojeda-e أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/59107
  • قدم @Ostring24 أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/50502
  • قدم @peperunas أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/58938
  • قدم @pondzikk أول مساهمة لهم في https://github.com/vllm-project/vllm/pull/55601
  • قدّم @praveingk أول مساهمة له في https://github.com/vllm-project/vllm/pull/60161
  • قدّم @puneetsharma21 أول مساهمة له في https://github.com/vllm-project/vllm/pull/48074
  • قدّم @rdlh أول مساهمة له في https://github.com/vllm-project/vllm/pull/60415
  • قدّم @rmhaskarnvidia أول مساهمة له في https://github.com/vllm-project/vllm/pull/59081
  • قدّم @roG0d أول مساهمة له في https://github.com/vllm-project/vllm/pull/55937
  • قدّم @roipony أول مساهمة له في https://github.com/vllm-project/vllm/pull/40337
  • قدّم @shijie-lyu أول مساهمة له في https://github.com/vllm-project/vllm/pull/55771
  • قدّم @shiyuan680 أول مساهمة له في https://github.com/vllm-project/vllm/pull/51350
  • قدّم @shreyanshj10 أول مساهمة له في https://github.com/vllm-project/vllm/pull/60359
  • قدّم @siliangchen-amd أول مساهمة له في https://github.com/vllm-project/vllm/pull/57108
  • قدّم @Sohaib-Ahmed21 أول مساهمة له في https://github.com/vllm-project/vllm/pull/59827
  • قدّم @spa5k أول مساهمة له في https://github.com/vllm-project/vllm/pull/60497
  • قدّم @sricursion أول مساهمة له في https://github.com/vllm-project/vllm/pull/60307
  • قدّم @SunnyR أول مساهمة له في https://github.com/vllm-project/vllm/pull/59811
  • قدّم @superdiaodiao أول مساهمة له في https://github.com/vllm-project/vllm/pull/55717
  • قدّم @surajsharan أول مساهمة له في https://github.com/vllm-project/vllm/pull/60225
  • قدّم @surawut-jirasaktavee أول مساهمة له في https://github.com/vllm-project/vllm/pull/60876
  • قدّم @Thiago4532 أول مساهمة له في https://github.com/vllm-project/vllm/pull/58014
  • قدّم @TommyTranX أول مساهمة له في https://github.com/vllm-project/vllm/pull/48039
  • قدّم @TylerMa-debugg أول مساهمة له في https://github.com/vllm-project/vllm/pull/59917
  • قدّم @ultramancode أول مساهمة له في https://github.com/vllm-project/vllm/pull/60786
  • قدّم @usmanmateen أول مساهمة له في https://github.com/vllm-project/vllm/pull/59336
  • قدّم @v-shobhit أول مساهمة له في https://github.com/vllm-project/vllm/pull/59655
  • قدّم @vaclavcadek أول مساهمة له في https://github.com/vllm-project/vllm/pull/49602
  • قدّم @viktorkou أول مساهمة له في https://github.com/vllm-project/vllm/pull/58124
  • قدّم @vovani أول مساهمة له في https://github.com/vllm-project/vllm/pull/60194
  • قدّم @WarrierRajeev أول مساهمة له في https://github.com/vllm-project/vllm/pull/59135
  • قدّم @www6v أول مساهمة له في https://github.com/vllm-project/vllm/pull/59749
  • قدّم @xiaofei-zheng أول مساهمة له في https://github.com/vllm-project/vllm/pull/55104
  • قدّم @xiaoyu-xyz أول مساهمة له في https://github.com/vllm-project/vllm/pull/55161
  • قدّم @xuantengh أول مساهمة له في https://github.com/vllm-project/vllm/pull/56740
  • قدّم @yantinglai أول مساهمة له في https://github.com/vllm-project/vllm/pull/59530
  • قدم @YashasviAsthana أول إسهام له في https://github.com/vllm-project/vllm/pull/59020
  • قدم @YidaWeng أول إسهام له في https://github.com/vllm-project/vllm/pull/59373
  • قدم @yongqiw-i أول إسهام له في https://github.com/vllm-project/vllm/pull/59159
  • قدم @YueshenZ أول إسهام له في https://github.com/vllm-project/vllm/pull/59257
  • قدم @YuvrajSinghBhadoria2 أول إسهام له في https://github.com/vllm-project/vllm/pull/57035
  • قدم @zhangchengzhucufe-dev أول إسهام له في https://github.com/vllm-project/vllm/pull/59886
  • قدم @ZhenchengLin أول إسهام له في https://github.com/vllm-project/vllm/pull/59251
  • قدم @ztysth أول إسهام له في https://github.com/vllm-project/vllm/pull/59721

المساهمون

شكرًا إلى: @BugenZhao, @aoshen02, @stefankoncarevic, @mgoin, @khluu, @hmellor, @yewentao256, @lesj0610, @MatthewBonanni, @jperezdealgaba, @ZJY0516, @AndreasKaratzas, @aarushjain29, @Sunt-ing, @NickLucche, @vadiklyutiy, @hickeyma, @divakar-amd, @yma11, @jzakrzew, @djramic, @simondanielsson, @microslaw, @Thangnguyenvn98, @mjkvaak-amd, @njhill, @chaojun-zhang, @sfeng33, @zhenwei-intel, @andyxning, @matteso1, @vMaroon, @alec-flowers, @simon-veitner-redhat, @TheEpicDolphin, @cagrikymk, @atalman, @shijie-lyu, @cheese-cakee, @Juntian777, @ivanium, @chaunceyjiang, @louie-tsai, @Dovis01, @apex-mochen, @wzhao18, @venkywonka, @pmanczak, @stecasta, @jinzhen-lin, @gty111, @noooop, @Rohan138, @rasmith, @laithsakka, @Fangzhou-Ai, @tlrmchlsmth, @Isotr0py, @cjackal, @vllmellm, @liusy58, @reidliu41, @peperunas, @shimib, @ojeda-e, @yonigozlan, @ShuoleiWang, @lucamotz, @ai-jz, @he-yufeng, @DimensionSTP, @taneem-ibrahim, @LucasWilkinson, @wangshangsam, @whx-sjtu, @micah-wil, @bzsuni, @robertgshaw2-redhat, @arpera, @sricursion, @mawong-amd, @mmastrac, @rmhaskarnvidia, @nvbfalk, @debanshd, @abmfy, @shaohuaxi, @jin-amd, @xijiaat, @ashraf-bhuiyan, @beenpow, @LioEinaudi, @Ronald1995, @R3hankhan123, @ZhengGong-amd, @Akashcodes732, @S1ro1, @yuvalluria, @mganczarenko, @DarkLight1337, @pisceskkk, @YidaWeng, @TQCB, @gau-nernst, @askliar, @benchislett, @jackLei0901, @vx120, @amd-mghanimi, @YueshenZ, @aniskumar-nv, @fululi12, @liuzijing2014, @zyongye, @Prudhvivuda, @kliuae, @wjabbour, @AbhayShuklaIIT, @WarrierRajeev, @Jeff-Tseng-dev, @yifanFengg, @elvircrn, @zupengwang, @tangzzycc, @jeejeelee, @roikoren755, @JohnQinAMD, @LeizhenZhang, @Chinmay-Kulkarni-AMD, @sungbin1015, @zhangchengzhucufe-dev, @fxmarty-amd, @lucianommartins, @nishantrevur, @hyukjlee, @andylolu2, @wangxiyuan, @stu-cao, @vineethsaivs, @zzaebok, @WoosukKwon, @franciscojavierarceo, @hpdkhoa, @gcanlin, @zigzagcai, @ultramancode, @warrendeng, @surajsharan, @subhashpolisetti, @ilmarkov, @awesome-pro, @faaany, @spandantiwari, @almogtavor, كذلك: @ahmed-bsod, @danigarciaoca, @Alnusjaponica, @NNNtrance, @vaclavcadek, @YashasviAsthana, @QwertyJack, @Ubospica, @AlanFokCo, @jungjiyu, @lcskrishna, @YukioZzz, @hubunt, @sashko-zakharchuk, @staryxchen, @yzong-rh, @Ostring24, @taking-lying-flat, @drakosha, @CorgiBoyG, @QHarshil, @zhou9402, @shiyuan680, @fjosw, @a-sidorova, @GOavi101, @mrodden, @fuscof-ibm, @Taimys, @Rukhaiya2004, @KernelClint, @almayne, @JulienDarve, @sshlyapn, @eldarkurtic, @rbrugaro-amd, @GuyStone, @ZhenchengLin, @ArcheyChen, @djmmoss, @hjjq, @namgyu-youn, @jiangyunfan1, @ganeshr10, @markmc, @yantinglai, @Id545, @roipony, @JadenMathias, @hclsys, @Anurag-M1, @ukannika, @blueberry808, @nv-hwoo, @guanxingithub, @stmatengss, @mohit-sarvam, @Legend-2727, @xiaoyu-xyz, @hdq66666, @Lcy0801, @gaby, @erictang000, @jdebache, @Ayu190505, @DOCCA0, @C1ves, @maeehart, @wangyicong52, @AIwork4me, @Woolgathererer, @yongqiw-i, @divyvasal, @1fanwang, @TyroneNel, @ShengleiFu, @bluemelov1, @kamb-code, @LiRunGuo, @Thiago4532, @harshaljanjani, @ieaves, @NolenLiang, @sudhanshu112233shukla, @abhayjoshi201, @charlesli640, @Sohaib-Ahmed21, @akii96, @notimesea, @JRJRJPRO, @usberkeley, @Mazukiri, @brandonfzhang, @amd-xavierwang, @sawsa307, @czhu-cohere, @wtdcode, @tarukumar, @LostFox11, @big-yellow-duck, @SherifWaly, @roG0d, @esmeetu, @mgehre-amd, @samnordmann, @SunnyR, @ovidiusm, @cleonard530, @eky-amd, @yinli-systems, @MadhavJivrajani, @cquil11, @ywang96, @PatrykSaffer, @PatchouliTIS, @aditi-amd, @git-jxj, @vovani, @MohammadHijjawi97, @TommyTranX, @viktorkou, @xaguilar-amd, @MohitAMD, @danichan-mkm, @pondzikk, @ebfio, @mkhazraee, @ai-yang, @xuantengh, @dhairyashilRG, @www6v, @v-shobhit, @ejrtks1020, @Kylinny, @bnkaiteam, @huishi-hs, @jiahanc, @shen-shanshan, @zxd1997066, @Aravind-11, @usmanmateen, @devshah-cohere, @praveingk, @JartX, @TylerMa-debugg, @lobo235, @dougbtv, @Tialo, @kyleliang-nv, @YeonwooSung, @Kevinli24, @aijanai, @spa5k, @DGlan, @Btwestyo, @xianbaoqian, @rdlh, @hao-aaron, @errmakov, @amd-sriram, @ntheanh201, وأيضًا: @LCAIZJ, @damienlaine, @shreyanshj10, @ischencheng, @0xViking, @yisustc, @bigPYJ1151, @Roy214, @Gregory-Pereira, @YuvrajSinghBhadoria2, @surawut-jirasaktavee, @Oxygen56, @andakai, @BolinSNLHM, @Dao007forever, @siliangchen-amd, @xiaofei-zheng, @gc-fu, @puneetsharma21, @linitra24, @devpramod, @yankay, @hlin99, @Godmook, @bvolpato, @UNIDY2002, @tc-mb, @JaredforReal, @hubert-marek, @Zhenzhong1, @AMD-yanfeiwang, @thuongvu, @JimmyWang0417, @MatthewCYM, @i-m-aditya, @lianakoleva, @peakcrosser7, @hoaivoke, @njriasan, @tjtanaa, @haotiaa, @superdiaodiao, @josh-schell-amd, @ztysth, @sungsooha, @Etelis, @natsala13, @ZhouXiaoya25

المصدر الأصلي

vLLM Releases

ملاحظات المحتوى

النشر الأصلي والحقوق تعود إلى المصدر.

ترجمة آلية · يُرجى الرجوع إلى الأصل