vLLM Releases

v0.32.0

# v0.32.0 ## ハイライト 今回のリリースには、363名の貢献者(うち121名が新規)による814コミットが含まれています! * **構造化された意思決定と汎用パーサー**: 新しい `POST /v1/systemone` エンドポイントは、構造化された状態に対して `choice`、`noul`、`score` の質問に回答し(#59299)、デフォルトで提供され(#60677、#60696)、さらに…

v0.32.0

ハイライト

今回のリリースには、363名の貢献者(うち121名が新規)による814コミットが含まれています!

  • 構造化された意思決定と汎用パーサー: 新しい POST /v1/systemone エンドポイントは choice, noul および score の質問を構造化された状態に対して回答し(#59299)、デフォルトで提供され(#60677、#60696)、さらに Cloudflare/clef-omni (#61064), LiquidAI/d1-3B (#60676)および DiffusionGemma(#60466)上でも動作します。新しい hf ツールおよび reasoning パーサー(--tool-call-parser hf, --reasoning-parser hf)はチェックポイントの response_templateを読み取るため、これを同梱するモデルにはモデル固有のパーサーが不要になります(#58604、#58602)。これは Python および Rust の両フロントエンドで利用できます(#59005)。
  • どこでも低精度 KV キャッシュ: NVFP4 KV キャッシュは SM8x および SM12x(#46963)、SM90(#60620)、SM12x 上の XQA デコード(#60452)で動作するようになり、SM100 上の MiniMax-M3 sparse attention でも動作します(#59300)。GLM-5.x は SM100 で FP8 KV キャッシュがデフォルトとなり、ランクあたりの KV メモリを半減させ、PR のベンチマークでは 2.3-5.5% のスループット向上を 7-11% の TTFT コストで実現します(#60140、#60281)。 fp8_ds_mla は SM90 上で GLM-5.3-Flash の出力スループットを最大 31% 向上させます(#59246)。ROCm には FP8 の約2倍の密度を持つ 4 ビットの ultraquant_4bit FP8 の約 2 倍の密度を持つ KV キャッシュ(#57057)。
  • Model Runner V2: 可変長ドラフトを備えた GPU n-gram スペキュレーター(#40704)、Elastic EP(#53934)、MLA モデル向けの prefill コンテキスト並列性を持つパイプライン並列化(#59139)、標準の torch.compile モード(#59079)、そしてモデル固有の MRV1 の例外を削除した上で、MRV2 が ROCm でデフォルトになりました(#56360)。
  • 高速な起動とサービング: vllm download-kernels は FlashInfer のプリコンパイル済みカーネルをインストールします(#58765)。 vllm preload --preload-autotune は FlashInfer の autotune テーブルを再起動間でウォームに保ちます(#60085)。共有メモリのテンソルアリーナは、大きなマルチモーダルテンソルを1回のコピーでワーカーへブロードキャストします(#51207)。トークナイザーとプロセッサーはローカルスナップショットからロードされます(#60825)。さらに --api-server-count が 1 を超える場合、各接続は最も負荷の低い API ワーカーに振り分けられ、PR のベンチマークで短いリクエスト(Qwen3-0.6B、入力 32 / 出力 1 トークン)において req/s が 43-85% 向上します(#60723)。
  • モデルサポート: 新たに EmbeddingGemma 2 のオムニモーダル埋め込み(#60254)、MiniCPM-V 4.7(#58674)、Nemotron 3.5 ASR(#59827)をサポート。Transformers モデリングバックエンドでの動画入力(#57441)。GLM-5.3 の sparse MLA インデックス変換をレイヤー間で再利用(当該カーネルで 3.5-3.9 倍、#59464)、および融合されたマルチステップのドラフトデコード(concurrency 1 で 13.3%、#57443)。HiSparse のリクエストごとのレジデンシーキャッシュにより、高並列度で長い完全 GPU レジデントなコンテキストを使用する B200 上の GLM-5.3-NVFP4 で最大 58% のスループット向上(#60083)。
  • セキュリティ: GHSA-4hhp-h66f-j5j7(チャットテンプレートによるリソース枯渇、#50300)、GHSA-q97c-p368-75c4(トークナイザー max_token_id、#59491)、GHSA-frvg-qw88-hww9(P2P ZMQ ソケット枯渇、#51504)の修正。CORS はデフォルトですべてのオリジンを許可しなくなりました(#61009)。信頼できない画像はラスタ形式に制限されます(#60022)。共有メモリのマルチモーダルキャッシュハンドルは署名されるようになりました(#59357)。64 レベルより深くネストされた JSON スキーマは拒否されます(#60036)。
  • 破壊的変更: Python 3.10 のサポート終了(#60402)。デフォルトの CORS オリジンの制限(#61009)。 transformers>=5.16.1,<5.20.0 および tokenizers>=0.23.2 (#57387、#59796); torch.compile の sequence parallelism と AsyncTP パスを削除 (#60517); cascade attention を削除 (#61126); mamba_cache_mode="all" 削除 (#58997); max_tokens がコンテキストウィンドウから予約されなくなりました (#57035)。Responses API の reasoning ストリームイベントの名称変更 (#59652)。

リリースアーティファクト

Python Wheels

プラットフォーム インストール
PyPI (CUDA 13.0) pip install vllm
PyPI (CUDA 13.0、uv) uv pip install vllm --torch-backend=auto
ROCm pip install vllm --extra-index-url https://wheels.vllm.ai/rocm/0.32.0/rocm723
XPU uv pip install vllm --extra-index-url https://wheels.vllm.ai/0.32.0/xpu --extra-index-url https://download.pytorch.org/whl/xpu --index-strategy unsafe-best-match

Docker イメージ

プラットフォーム Docker イメージ
CUDA 13.0 (デフォルト) docker pull vllm/vllm-openai:v0.32.0
CUDA 12.9 docker pull vllm/vllm-openai:v0.32.0-cu129
CUDA 13.0 + Ubuntu 24.04 docker pull vllm/vllm-openai:v0.32.0-ubuntu2404
CUDA 12.9 + Ubuntu 24.04 docker pull vllm/vllm-openai:v0.32.0-cu129-ubuntu2404
ROCm docker pull vllm/vllm-openai-rocm:v0.32.0
CPU docker pull vllm/vllm-openai-cpu:v0.32.0
XPU docker pull vllm/vllm-openai-xpu:v0.32.0

その他のアーティファクト

ビルド済みのリリースアーティファクトは以下で入手できます。 資産 本ページ下部のセクションに、以下が含まれます: - ソース配布 tarball - x86_64 および arm64 向け CUDA 12.9 Python wheel - x86_64 および arm64 向け CUDA 13.0 Python wheel - x86_64、arm64、および macOS 向け CPU Python wheel - x86_64 向け XPU Python wheel

モデルサポート

  • 新モデル: EmbeddingGemma 2(google/embeddinggemma-2)。モダリティエンコーダーが未使用の場合は --limit-mm-per-prompt を通じてスキップされる、オムニモーダルなテキスト/画像/音声/動画埋め込みモデルです。(#60254、#60289);MiniCPM-V 4.7 (#58674);Nemotron 3.5 ASR (nvidia/nemotron-3.5-asr-streaming-0.6b) 完全音声文字起こし。ネイティブなリアルタイムストリーミングはまだサポートされていません (#59827); Cloudflare/clef-omni (#61064) および LiquidAI/d1-3B (#60676) を /v1/systemone上でサポート;PLaMo 3 の推論およびツールパーサー (#56575);および zerank-2 リランカーのスコアテンプレート (#60415)。
  • Transformers モデリングバックエンド:動画入力 (#57441)、および Glm、Arcee、CWM、Mellum (#59679)、GPT-NeoX、Phi、Seed-OSS、Jais2 (#59701) がこれを通じて提供されるようになりました。
  • 新しいモデル機能:BERT、RoBERTa、XLM-RoBERTa 埋め込みモデルの LoRA (#61033);EAGLE3/DFlash ターゲットとしての Granite (#60855);Qwen3-ASR EAGLE3 (#52824);PP 対応の Sarvam MLA EAGLE3/DSpark (#55902);DFlash2 ドラフター使用の GLM-5.3-Flash (#56983);および MRV2 上で PP > 1 の MiniMax-M3 EAGLE3 (#57197) と、PP 下で MTP 共有ターゲット埋め込み (#58648)。
  • GLM-5.3 および GLM-5.3-Flash:レイヤー間で再利用されるスパース MLA インデックス変換 (#59464)、融合されたマルチステップドラフトデコード (#57443)、SM100 での FP8 KV キャッシュデフォルト化 (#60140、#60281)、 fp8_ds_mla SM90 上での対応 (#59246)、MHA での qlnorm スキップ (4.4-7.7% TTFT、#58845)、TP 全体にシャーディングされたロングコンテキストインデクサープリフィル (1M コンテキストで TTFT 最大 25% 低減、#54951)、kpool インデクサーの DCP (#59211、#60032)、FlashKDA による KDA プリフィルチェックポイント (#56960)、SM90 スパース MLA での FP8 KV (#55222)、 --mamba-ssm-cache-dtype KDA ステートで尊重される設定 (#59147)、汎用パック KV レイアウト (#57169)、復元された MTP インデックス共有 (#61079)、ビジョンタワークラッシュ (#59126)、非正方形画像エンコーダーバジェット (#59565)、DP スタートアップ (#56974)、動画タイムスタンプ (#55647)、DFlash2/EAGLE3 補助隠れ状態 (#60763)、null ブロック書き込み (#59528) の修正。
  • DeepSeek-V4 および V4.1:デコーダー側 SWA のバウンドリプレイ (#58132) で、リプレイレイヤーは CUDA グラフに含まれ、PIECEWISE グラフではトリミングされ (compilation_config.decoder_replay_trim_threshold、#59532)、さらに最後の KV ソースレイヤーのトリミング (+3.6%、#59894)、DP 全体でのパック FP8 Engram 交換 (#59923)、高速化された CPU オフロード Engram ルックアップ (#59327)、融合された DeepSeek V4 + MTP ドラフティング (#58463)、V4.1 と Kimi-K3 のエンコーダー CUDA グラフパッキング (平均 TTFT 11% 低減、#58925)、DSpark ドラフトの EPLB (#57549)、ドラフト受容率 0% の NVFP4 チェックポイント (#59655)、MegaMoE 共有エキスパート finalize 順序 (#59927)、最悪ケースのビジョンダミー入力 (#57898、#59271)、コンプレッサーリング null ブロック書き込み (#58560)、Triton 3.9 インデクサー量子化 (#60716)、FlashInfer EP MoE バックエンドでのデコーダーリプレイ CUDA グラフ (#61041) の修正。
  • Qwen:Qwen3.8-Flash-Next (Qwen4Exp) は QSA 射影を 1 つの GEMM に統合 (1.45-1.68x、#59533)、融合された QSA プレインデクサー (#57097)、 --enable-hc-sp を通じたシーケンス並列化 (#56322)、SM100 低レイテンシデコード GEMM プラン (小規模 M で cuBLAS 比最大 2.7x、#59214)、 --kv-cache-dtype-skip-layers honored (#60023)、および INC (#59990)、Quark (#59443)、pre-SM89 GPU (#60142) 向けの PLE ローディング。Qwen3-VL/Qwen3.5/Qwen3.8 の M-RoPE キャッシュが 4 倍小型化、Qwen3.5 YaRN が Transformers と一致 (#59853)。Qwen3-Omni の M-RoPE 修正 (#58890、#59842)。アップストリームプロセッサ上の Qwen3-ASR (#57146)。Qwen3-VL の不明な video fps (#60501)、およびマルチモーダルキャッシュでの per-video オプション (#55203)。
  • Kimi-K3 と MiniMax-M3: SM100 上の Kimi-K3 FlashInfer 融合 speculative KDA (#54255)、融合 vision processor(1080p~8K で 10~20 倍の前処理、#59278)、DCP prefill パス上の融合 K/V パック (#56881)、および 4 グループに戻された DSpark KV キャッシュ (#59733)。MiniMax-M3 は E4M3 クエリによる MSA prefill(FP8 KV 使用時に 26~37% 高速化、#60684)、非 SM100 GPU 上の FP8 indexer キャッシュ (#59081)、Triton indexer チューニング (#56151、#59481)、および indexer スコア修正 (#60194、#54597)。
  • マルチモーダル: Qwen3-VL/Qwen3.5/Qwen4Exp (#51289)、GLM-V および GLM-OCR (#55389)、Llama Nemotron VL (#57928)、Kimi K2.5/K3 (#59278) 向けのデバイス側入力正規化、以下で融合のまま維持 compile_mm_encoder (#59195)。モダリティごとにソートされたエンコーダ入力(req/s が 6.5~8.2% 向上、#60196)。Mistral 3 の前処理が 8% 高速化 (#57531)。Pixtral compile_mm_encoder (#57168)。および Llama 4 / Mistral Large 3 EAGLE drafter(v0.28.0 以降のリグレッション、#57633)、Phi-4 MM 音声 OOM (#60614)、DeepSeek-OCR ゼロサムピクセル (#59417)、fastsafetensors 使用時の MiMo-V2.5/V2.6 (#58142)、MiMo-V2.6 FP8 KV キャッシュ (#58128)、Voxtral realtime (#45022)、Nemotron Super vision LayerNorm (#61401)、K-EXAONE config と MTP RoPE (#60187)、Nemotron Parse の tied lm_head (#60272)、LongCat-Flash MTP ローディング (#60080)、Ling-3.0-flash-VL (#59026) の各修正。

Engine Core

  • Model Runner V2: GPU n-gram スペキュレータ(#40704)、drain-then-commit スケーリングによる Elastic EP(#53934)、MLA モデル向けの PCP 付き PP(#59139)、 STOCK_TORCH_COMPILE モード(#59079)、自己回帰型スペキュレータの動的 K(#57053)、MTP サンプリングマスクリプレイ(#59359)とモジュールごとの LM ヘッド(#58921)、WSL2 でのノンブロッキング H2D コピー(#60215)、および長コンテキストでの int64 インデックスオフセット(#60736)、ウォームアップ(#61013)、GDN プリフィルチェックポイント(#59536)、MRV2+PP+MTP の状態整合(#60210)の修正。
  • Speculative decoding(推測デコード): FlashInfer trtllm-gen での融合マルチステップドラフトデコード(#58371)、Mamba2 MTP 向けの FlashInfer ReplaySSM(#52928)、DFlash/DSpark ドラフトのグラフ内メタデータ(#60692)、およびハイブリッドリカレントモデルでの ngram(#56531)、MTP とプレフィックスキャッシングを用いた Mamba プリフィルチェックポイント(#59759, #60797)、ストップ文字列のトリミング(#47616)、ドラフトモデル設定(#61240)、適応的ブロック検証(#60945)、DSpark ボーナススロット(#59105)、Transformers バックエンド上のドラフトモデル(#59293)に関する正確性の修正。
  • Hybrid models and prefix caching(ハイブリッドモデルとプレフィックスキャッシング): NemotronH、Granite-4.0-H、Falcon-H1、Zamba2 向けの Mamba2 内部プリフィルチェックポイント(#57329)、ストリーミングセッションが切断された際の失効ブロックハッシュの削除(#59103)、および TP を用いた量子化 Mamba-2(#58083)、スペキュレーティブデコードのページサイズ(#59975)、プレフィックスキャッシュの境界(#55601, #60533)、sm90 Mamba2 の NaN(#61718)の修正。
  • Sleep と RL: sleep 時にワークスペーススクラッチ(GPU あたり最大 4.5 GiB、#59156)と KV 初期化状態(GPU あたり約 4.6 GiB、#59158)を解放、オプトインの sleep_mode_offload_cudagraph (#59160、#59523);出力上のトークンレベルの重みバージョンスパン(#59582、#61070);推論を停止せずに解放される重み転送コミュニケータ(#61060); --sleep-preserve-parameter-names 'draft.*' (#61046); modelexpress 重み転送バックエンド(#58399); POST /weight_checker (#51350);重み転送メトリクス(#55781); --enable-nccl-comm-suspend MNNVL ワークスペースの解放(#59360);および sleep(level=2) FP8 KV スケールの保持(#57163)。
  • HiSparse: リクエストごとのレジデンシーキャッシュ(GPU 常駐コンテキストで高同時実行時に最大 58%、#60083)、スケジューラオーバーヘッドの低減(#57930)、HiSparse が所有する GPU レジデンシー(#60647)、ステージングメモリの削減(#60429)、ホストキャッシュゲージ(#58949、#59485)、およびデコードトークン上限(#60682)と TP ハング(#60941)の修正。
  • Startup and memory(起動とメモリ): 共有メモリテンソルアリーナ(--enable-shm-tensor-arena、デフォルト有効、#51207)、PP を用いた Fast Start(#55477)、daemon 保持の重みを gpu_memory_utilization に算入(#57298)、オートチューンのプリロード(#60085)、ローカルトークナイザースナップショット(#60825)、 sparse_mla_prefill_workspace_factor 1M コンテキストで数 GiB を節約(#61023)、重みロード中のキャッシュメモリの解放(#57516)、Triton サンプラーウォームアップコンパイルの削減(#58605)、PP を用いたシャーデットステートローダー(#52110)、および Run:ai streamer を用いた reload_weights Run:ai streamer (#58124) と共に。
  • Kernels and runtime(カーネルとランタイム): MoE 重み付き和のチューニング(1.17-2.37 倍、#59731)、ColBERT/ColPali スコアリング向けの flash-maxsim カーネル(#40337)、32K トークンで CPU 使用量を 69% 削減するフォールバックデトークナイズ(#60497)、より高速な KV ブロック解放キュー(#60269)、 tl.make_block_ptr で無効化された Triton カーネル(#60502)、PyTorch 2.15 で復元された融合パス(#57299)、最近の torch での静的 FP8 量子化融合(#61108)。
  • Batch invariance(バッチ不変性): VLLM_BATCH_INVARIANT=1 下のカスタムオールリデュース(#58623)、決定論的 split-K LoRA シュリンク(#59377)、全アテンションバックエンドの検証(#60271)、SM120 TP 設定(#58495)、ROCm サポート(#52231)。
  • Observability(オブザーバビリティ): vllm:prompt_tokens_cached_by_source_total (#56318), vllm:num_requests_kv_fetch_by_stage (#58874), vllm:admission_rejections_total (#55812), vllm:watermark_requests (#58715), --custom-histogram-buckets (#48867)、 LoggingConfig.formatter を介した JSON ログフォーマッタ(#58739)、およびセッションごとのプロファイリング制御(#57875)。

Large Scale Serving(大規模サービング)

  • MoE communication: FlashInfer CuteDSL MegaMoE for more models via --moe-backend flashinfer_cutedsl (#54049)、FlashInfer one-sided all2all 用の FP8 combine(DEP8 で +4%、#57995)、NCCL symmetric-memory MoE reduce-scatter(レイテンシを 9.6-16% 低減、#49194)、DeepEPv2 hybrid NVLink+RDMA モードのデフォルト有効化(#57991)、DeepEP v2 を用いた Kimi-K3 shared experts(#56875)、およびオプトインの EPLB migration batching(#52641)。
  • Context parallelism: decode リクエストを PCP ランク間でシャーディング(#52162)、および異種 NIXL disaggregation 向けの block-interleaved DCP を用いた TokenSpeed MLA(#59462)。
  • KV connectors: NIXL host-buffer コピーの統合(#54483)、混在ブロックサイズ(#58860)、ピアメタデータ復旧(#55471)、および P/D における Qwen3.8-Flash-Next MTP acceptance(#59997);Mooncake の hybrid/MLA RDMA リージョンの統合(#57952)と bootstrap リトライ(#55923);MoRIIO Kimi-K3 DSpark READ(#57700);DeepSeek-V4.1 P/D におけるロード済み KV の bounded replay スキップ(#59197);および KVCR pool-and-index API(#59899)。
  • Data parallelism: リクエストを各エンジンに固定するストリーミング(#59017)、エンジンごとの RNG ストリーム(#59788)、および配置グループを ray[default] (#57648).

ハードウェアとパフォーマンス

  • NVIDIA: SM100 でのネイティブ 64-head FlashMLA sparse prefill(TTFT 1.16-1.18x、#60029)、パディングをスキップする block-FP8 DeepGEMM experts(#59128)、SM120 split-K attention(#58482)、DGX Spark Qwen4Exp GEMM プラン(#59753、#59632、#60027)、SM12x での OAI Triton MXFP4 MoE(#58877)、およびランクごとの FlashInfer autotune キャッシュ(#57635)。
  • AMD ROCm: DeepSeek-V4 AITER MegaMoEV2 経由の --moe-backend aiter_mega_moe (#59685)、オプトインの共有エキスパート融合(3-8%、#61004)、MI355X上のDeepSeek-V4.1-Flash向けオプトインのモノデコード(VLLM_ROCM_MONO_DECODE=1, #60397)、オプトインのGluon sparse MLA(GLM-5.2で最大+16%、#53492)、ページドMXFP4インデクサー(#58671)、DSv4向けオプトインのa4w4 MoE(#58819)、 ultraquant_4bit KVキャッシュ (#57057)、 aiter_flydsl GDN prefill(#57560)、Kimi-K3 prefill チェックポイント(TTFT 約20%改善、#58344)、fused MLA decode(#57640)およびランクごとの latent MoE シャード(#59591)、GLM-5.3-Flash split-K sparse MLA decode(ITL 5-15%低減、#58584)、ネイティブ merge_attn_states (2.4x、#60159)、 ROCM_SEGMENTED_ATTN RDNA向け(#59132)、gfx11 W4A16チューニング(TTFT最大23%改善、#56301)、モデル固有のMRV1例外を削除したMRV2のデフォルト化(#56360)、ROCm 7.2+におけるスリープモードのセグメンテーションフォルト修正(#60367)およびMLAの重みリロード修正(#60389)。
  • Intel XPU: MLAの FLASH_ATTN_MLA (#58297)、Arc Pro B70 FP8 GEMM(2.0〜2.73倍、#56063)、fused MoE設定(#53065)、fused SYCL LayerNorm(#57172)、および Gemma-2 softcap(#58936)と DP+EP MoE(#57787)の修正。
  • CPU: s390x 向けベクトル化サンプラー(最大58倍、 #53913)、aarch64 causal conv1d(約9%、 #54093)、POWER10 AWQ/GPTQ(#59149)、PowerPC dtype=auto bfloat16 を選択(#58528)。
  • その他: tpu-inference v0.31.0 (#60190) と、複数のアテンションバックエンドを登録するアウトオブツリープラットフォーム (#41091)。

量子化

  • 新機能: 線形層のオンライン再量子化(--quantization-config.linear fp8_per_channel、#55684)、トークンごとのNVFP4 CuTe-DSL MoE(#50030、ReLU2付き)(#56740)、CUTLASS W4A4およびBF16フォールバックを備えたMXFP4 MoEオラクル(#60079)、FP8アクティベーションを伴うcompressed-tensors MXFP4 MoE(#59815)、SM120/SM121上のModelOpt IQ2_XS/IQ2_XXS/Q8_0(#59604)、 int4_per_token_head KV で 2 の冪でないヘッド数に対応(#56198)、また SM90 では Marlin より Humming が優先されるようにしました(#56997)。
  • 修正内容:EP環境下でのsilentなCUTLASS NVFP4/MXFP4 MoE破損(#59042)、デフォルト以外のsafetensors名を用いるGPTQ(#60411)、 moe_wna16 8 ビットの非対称ゼロ点(#58950)、および ModelOpt 混合精度 NVFP4 検出(#56050)。

API & フロントエンド

  • 新しいエンドポイントとオプション: /v1/systemone (#59299, #60677, #60696), hf パーサー (#58604)、 vllm download-kernels (#58765), output_mode: "text" および stop_reason in /inference/v1/generate (#58588, #60251), mm_payload レンダーリクエストに関するもの(#61427、#60728)、Responses min_p および stop_token_ids (#48084, #56592), LLM.chat(priority=...) (#57243)、および /generative_scoring cache_salt (#60841).
  • 挙動: max_tokens は予約ではなく上限となり、長いプロンプトが拒否されなくなりました(#57035)。負荷が最も低いAPIワーカーの選択(#60723)。ツールパーサーの互換性を起動時にチェック(#59749)。
  • ツール呼び出しと構造化出力: parallel_tool_calls=false 強制されるようになりました(#50502、#59298)。 tool_choice="required" ストリーミング(#60354)とネイティブXMLパーサー(#47512)、Step-3.5および minimax_m3 パーサーエンジン上で(#59321、#59743)、xgrammar propertyNames (#57594)、LoRA PEFT rank_pattern/alpha_pattern が適用され、未対応の機能は拒否されます(#59801、#60225)。
  • Rustフロントエンド: --grpc-port (#59659), --stream-interval (#60589), logprob_token_ids (#59549), Control.Shutdown と vllm-proto 0.5.0 (#59316), qwen3_json パーサー(#60136)、Kimi K3の文法修正(#59190、#59395)。

セキュリティ

  • GHSA-4hhp-h66f-j5j7: チャットテンプレートは静的に検証され、タイムアウト付きでレンダリングされます(VLLM_CHAT_TEMPLATE_RENDER_TIMEOUT)。ユーザー提供の chat_template Responsesにおける chat_template_kwargs は拒否され、Rustフロントエンドはテンプレート実行に上限を設けました(#50300)。
  • GHSA-q97c-p368-75c4: トークナイザーの max_token_id オフバイワンを修正しました(#59491)。
  • GHSA-frvg-qw88-hww9: P2P ZMQピアセッションは VLLM_P2P_MAX_PEERS (デフォルト128)、 VLLM_P2P_HANDSHAKE_TIMEOUT_S (デフォルト30)、および VLLM_P2P_IDLE_TIMEOUT_S (デフォルト300)によって制限され、一意なピアアドレスがZMQソケットを使い果たすことはなくなりました(#51504)。
  • デフォルトのCORS設定は、PythonおよびRustフロントエンドで、もはやすべてのオリジンを許可しません。ブラウザオリジンを許可するには --allowed-origins を設定してください(#61009)。
  • 信頼できない画像はラスター形式の許可リスト(ALLOWED_IMAGE_FORMATS)で開かれ、EPS/PostScriptおよびWMFは拒否されます(#60022)。共有メモリのマルチモーダルキャッシュハンドルはHMAC署名され、偽造ハンドルは拒否されます(#59357)。
  • 64レベルより深くネストされた構造化出力JSONスキーマは400を返します(#60036)。チャンク化された /v1/embeddings リクエストは cache_salt を維持します(#47696)。Phi-4 MMのオーディオはもはや複数GiBのアテンション行列を保持しません(#60614)。DeepSeek-OCRのゼロ和ピクセルテンソルはもはやEngineCoreを停止させません(#59417)。
  • セキュリティ依存関係のバージョン更新: aiohttp>=3.14.3, pillow>=12.3.0、cryptography、urllib3、pyjwtなど(#59249、#59315、#59427)。

依存関係

  • transformers>=5.16.1,<5.20.0 (最低バージョンを5.10.4に引き上げ、#57387、#59762)および tokenizers>=0.23.2 (#59796).
  • NIXL 1.5.0(#56907)、CuTe DSL 4.8.0 block-scale API(#59480)、 humming-kernels==0.1.17 初期Rubinサポート(#61556、#61858)、InstantTensor 0.2.2(#61167)、および flashinfer-jit-cache wheelから除外 install_requires (#60052).
  • ROCm:AITER 0.1.24.post1(#59794)、MoRI v1.2.3.post1(#56073)。XPU:auto-round-lib 0.16.0(#60976)。TPU:tpu-inference v0.31.0(#60190)。

ビルド

  • Python 3.11〜3.14 をサポート(#60402);macOS 用 wheel は stable ABI でビルド(#60312);CUDA のソースビルドには GCC 13 が必要で、それ以外の場合は早期に失敗(#60259);Docker イメージはコンテナの起動を高速化するためビルド時に Python バイトコードをコンパイル(#55422); VLLM_USE_PRECOMPILED 直近の20コミット内で互換性のある公開済みwheelを見つけた場合(#58871)。ベンダーされたDeepGEMMは TORCH_LIBRARY (abi3、#48962)。

破壊的変更と非推奨化

  • Python 3.10 はサポートされなくなり、最小バージョンは Python 3.11 になりました(#60402)。
  • デフォルトのCORSオリジンが以下から変更されました: * なしに; 設定 --allowed-origins ブラウザクライアント向け(#61009)。
  • transformers>=5.16.1,<5.20.0 および tokenizers>=0.23.2 が必要です(#57387、#59796)。
  • torch.compile のシーケンス並列処理と AsyncTP のパスが、以下とともに削除されました。 PassConfig.enable_sp, fuse_gemm_comms および sp_min_token_num「; モデルレベルのシーケンス並列化は影響を受けません (#60517)。」
  • カスケードアテンションは削除されました。 --disable-cascade-attn 引き続きパースされますが警告のみとなり、v0.33.0 で削除される予定です(#61126)。
  • mamba_cache_mode="all" 削除されました; --mamba-cache-mode all 検証に失敗するようになりました (#58997)。
  • これまで非推奨とされていたAPIが削除されました: wait_for_inflight_requests (使用 mode="wait"), AsyncLLM.pause_generation(), IOProcessor.output_to_response, vllm.scripts.main() そして vllm bench throughput --dataset (#60923)。 sonnet ベンチマークデータセットは予定どおり削除されました(#60129)。TensorizerのサポートがLoRAから削除され(#60024)、PyO3 vllm._rust_tool_parser ブリッジは削除されました(#59744)。
  • APIの変更点: max_tokens 出力の上限値として扱われ、コンテキストウィンドウから予約されなくなりました(#57035)。Responses API のストリーミングでは response.content_part.added/done with(と共に) part.type="reasoning_text" の代わりに response.reasoning_part.added/done (#59652); SamplingParams.prompt_logprob_token_ids 行ごと (#56984); /inference/v1/generate logprobs が整数のトークン ID を使用するようになりました(#58181);sleep API のレスポンスが標準化され、無効なレベルでは 400 が返されるようになりました(#52864); return_mm_kwargs is deprecated in favor of → 「は非推奨となり、以下が推奨されます:」的ではなく、自然な日本語で「は非推奨となり、代わりに … が推奨されます」— but no following segment text. Just translate the fragment. is deprecated in favor of は「非推奨」に翻訳してください。 mm_payload (#61427).
  • ウォーターマーキング: エンジンにウォーターマーキングが設定されている場合、リクエストフィールドを省略すると「enabled」および「only」を意味します false オプトアウトします。サポートされていない組み合わせの場合は警告を表示し、フォールバックします (#56801)。
  • Rust フロントエンド: qwen3_xml が Qwen3-Coder XML( qwen3_coderのエイリアス)をパースするようになりました。JSON フォーマットには新しい qwen3_json を使用してください (#60136)。
  • 新しいデフォルト: 共有メモリテンソールアリーナをオン (#51207)。SM100 上の GLM-5.x FP8 KV キャッシュを --kv-cache-dtype auto (#60140, #60281); VLLM_DEEPEP_V2_ALLOW_HYBRID_MODE=1 でオン (#57991)。SM90 上では Marlin より Humming を優先 (#56997)。 sparse_mla_prefill_workspace_factor 2 は 256K を超える場合に max_model_len (#61023)。ROCm 上の MRV2 からモデル固有の MRV1 例外を削除 (#56360)。 VLLM_ROCM_AITER_MLA_DCP_VERIFY=auto (#59965); dtype=auto は PowerPC 上で bfloat16 を選択 (#58528)。MXFP4 W4A4 チェックポイントは、W4A4 カーネルが存在しない場合に警告付きで W4A16 にフォールバック (#60079)。
  • より厳格な検証: 互換性のない --prefix-match-unit (#58021), max_num_scheduled_tokens=0 (#60714)、 cudagraph_mode=FULL を伴う HiSparse (#59688)、および負の --device-ids (#49053) は起動時に拒否されます。

新規コントリビューター

  • @0xViking が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/60053
  • @1fanwang が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/40986
  • @a-sidorova が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/55335
  • @AbhayShuklaIIT が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/59763
  • @ahmed-bsod が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/58655
  • @ai-yang が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/58088
  • @AIwork4me が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/54706
  • @AlanFokCo が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/57163
  • @AMD-yanfeiwang が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/61004
  • @aniskumar-nv が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/53020
  • @Anurag-M1 が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/57693
  • @Aravind-11 が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/60098
  • @awesome-pro が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/58895
  • @Ayu190505 が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/57995
  • @beenpow が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/57648
  • @big-yellow-duck が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/59132
  • @blueberry808 が初めてコントリビュートしました: https://github.com/vllm-project/vllm/pull/58932
  • @bluemelov1 さんが https://github.com/vllm-project/vllm/pull/58560 で初めてコントリビューションを行いました
  • @bnkaiteam さんが https://github.com/vllm-project/vllm/pull/60507 で初めてコントリビューションを行いました
  • @brandonfzhang さんが https://github.com/vllm-project/vllm/pull/56881 で初めてコントリビューションを行いました
  • @Btwestyo さんが https://github.com/vllm-project/vllm/pull/59924 で初めてコントリビューションを行いました
  • @bvolpato さんが https://github.com/vllm-project/vllm/pull/55203 で初めてコントリビューションを行いました
  • @C1ves さんが https://github.com/vllm-project/vllm/pull/58890 で初めてコントリビューションを行いました
  • @charlesli640 さんが https://github.com/vllm-project/vllm/pull/59977 で初めてコントリビューションを行いました
  • @cheese-cakee さんが https://github.com/vllm-project/vllm/pull/59079 で初めてコントリビューションを行いました
  • @CorgiBoyG さんが https://github.com/vllm-project/vllm/pull/55596 で初めてコントリビューションを行いました
  • @damienlaine さんが https://github.com/vllm-project/vllm/pull/45022 で初めてコントリビューションを行いました
  • @danichan-mkm さんが https://github.com/vllm-project/vllm/pull/59285 で初めてコントリビューションを行いました
  • @danigarciaoca さんが https://github.com/vllm-project/vllm/pull/56372 で初めてコントリビューションを行いました
  • @debanshd さんが https://github.com/vllm-project/vllm/pull/57476 で初めてコントリビューションを行いました
  • @devpramod さんが https://github.com/vllm-project/vllm/pull/60855 で初めてコントリビューションを行いました
  • @devshah-cohere さんが https://github.com/vllm-project/vllm/pull/60286 で初めてコントリビューションを行いました
  • @DGlan さんが https://github.com/vllm-project/vllm/pull/59875 で初めてコントリビューションを行いました
  • @dhairyashilRG さんが https://github.com/vllm-project/vllm/pull/58911 で初めてコントリビューションを行いました
  • @DOCCA0 さんが https://github.com/vllm-project/vllm/pull/52641 で初めてコントリビューションを行いました
  • @Dovis01 さんが https://github.com/vllm-project/vllm/pull/56994 で初めてコントリビューションを行いました
  • @ebfio さんが https://github.com/vllm-project/vllm/pull/58165 で初めてコントリビューションを行いました
  • @ejrtks1020 さんが https://github.com/vllm-project/vllm/pull/59180 で初めてコントリビューションを行いました
  • @eky-amd さんが https://github.com/vllm-project/vllm/pull/54857 で初めてコントリビューションを行いました
  • @gaby さんが https://github.com/vllm-project/vllm/pull/59126 で初めてコントリビューションを行いました
  • @haotiaa さんが https://github.com/vllm-project/vllm/pull/60766 で初めてコントリビューションを行いました
  • @harshaladhav-amd さんが https://github.com/vllm-project/vllm/pull/58268 で初めてコントリビューションを行いました
  • @hdq66666 さんが https://github.com/vllm-project/vllm/pull/59695 で初めてコントリビューションを行いました
  • @hoaivoke さんが https://github.com/vllm-project/vllm/pull/61033 で初めてコントリビューションを行いました
  • @hpdkhoa さんが https://github.com/vllm-project/vllm/pull/60747 で初めてコントリビューションを行いました
  • @hubert-marek さんが https://github.com/vllm-project/vllm/pull/61000 で初めてコントリビューションを行いました
  • @hubunt さんが https://github.com/vllm-project/vllm/pull/47512 で初めてコントリビューションを行いました
  • @huishi-hs さんが https://github.com/vllm-project/vllm/pull/58053 で初めてコントリビューションを行いました
  • @hyukjlee さんが https://github.com/vllm-project/vllm/pull/59965 で初めてコントリビューションを行いました
  • @Id545 さんが https://github.com/vllm-project/vllm/pull/59247 で初めてコントリビューションを行いました
  • @ieaves さんが https://github.com/vllm-project/vllm/pull/52824 で初めてコントリビューションを行いました
  • @ischencheng さんが https://github.com/vllm-project/vllm/pull/60763 で初めてコントリビューションを行いました
  • @Jeff-Tseng-dev さんが https://github.com/vllm-project/vllm/pull/59396 で初めてコントリビューションを行いました
  • @jiangyunfan1 さんが https://github.com/vllm-project/vllm/pull/57780 で初めてコントリビューションを行いました
  • @JimmyWang0417 さんが https://github.com/vllm-project/vllm/pull/61081 で初めてコントリビューションを行いました
  • @jin-amd さんが https://github.com/vllm-project/vllm/pull/58904 で初めてコントリビューションを行いました
  • @JRJRJPRO さんが https://github.com/vllm-project/vllm/pull/59879 で初めてコントリビューションを行いました
  • @Kevinli24 さんが https://github.com/vllm-project/vllm/pull/58878 で初めてコントリビューションを行いました
  • @Kylinny さんが https://github.com/vllm-project/vllm/pull/60354 で初めてコントリビューションを行いました
  • @Lcy0801 さんが https://github.com/vllm-project/vllm/pull/58975 で初めてコントリビューションを行いました
  • @Legend-2727 さんが https://github.com/vllm-project/vllm/pull/59293 で初めてコントリビューションを行いました
  • @lianakoleva さんが https://github.com/vllm-project/vllm/pull/60136 で初めてコントリビューションを行いました
  • @LiRunGuo さんが https://github.com/vllm-project/vllm/pull/56198 で初めてコントリビューションを行いました
  • @lobo235 さんが https://github.com/vllm-project/vllm/pull/60364 で初めてコントリビューションを行いました
  • @LostFox11 さんが https://github.com/vllm-project/vllm/pull/58542 で初めてコントリビューションを行いました
  • @MadhavJivrajani さんが https://github.com/vllm-project/vllm/pull/57635 で初めてコントリビューションを行いました
  • @MatthewCYM さんが https://github.com/vllm-project/vllm/pull/57146 で初めてコントリビューションを行いました
  • @Mazukiri さんが https://github.com/vllm-project/vllm/pull/60036 で初めてコントリビューションを行いました
  • @MohammadHijjawi97 さんが https://github.com/vllm-project/vllm/pull/59072 で初めてコントリビューションを行いました
  • @MohitAMD さんが https://github.com/vllm-project/vllm/pull/55053 で初めてコントリビューションを行いました
  • @nishantrevur さんが https://github.com/vllm-project/vllm/pull/59541 で初めてコントリビューションを行いました
  • @njriasan さんが https://github.com/vllm-project/vllm/pull/60502 で初めてコントリビューションを行いました
  • @NNNtrance さんが https://github.com/vllm-project/vllm/pull/55647 で初めてコントリビューションを行いました
  • @NolenLiang さんが https://github.com/vllm-project/vllm/pull/56974 で初めてコントリビューションを行いました
  • @notimesea さんが https://github.com/vllm-project/vllm/pull/59105 で初めてコントリビューションを行いました
  • @ntheanh201 さんが https://github.com/vllm-project/vllm/pull/57734 で初めてコントリビューションを行いました
  • @nv-hwoo さんが https://github.com/vllm-project/vllm/pull/58399 で初めてコントリビューションを行いました
  • @ojeda-e さんが https://github.com/vllm-project/vllm/pull/59107 で初めてコントリビューションを行いました
  • @Ostring24 さんが https://github.com/vllm-project/vllm/pull/50502 で初めてコントリビューションを行いました
  • @peperunas さんが https://github.com/vllm-project/vllm/pull/58938 で初めてコントリビューションを行いました
  • @pondzikk さんが https://github.com/vllm-project/vllm/pull/55601 で初めてコントリビューションを行いました
  • @praveingk さんが https://github.com/vllm-project/vllm/pull/60161 で初めてコントリビューションを行いました
  • @puneetsharma21 さんが https://github.com/vllm-project/vllm/pull/48074 で初めてコントリビューションを行いました
  • @rdlh さんが https://github.com/vllm-project/vllm/pull/60415 で初めてコントリビューションを行いました
  • @rmhaskarnvidia さんが https://github.com/vllm-project/vllm/pull/59081 で初めてコントリビューションを行いました
  • @roG0d さんが https://github.com/vllm-project/vllm/pull/55937 で初めてコントリビューションを行いました
  • @roipony さんが https://github.com/vllm-project/vllm/pull/40337 で初めてコントリビューションを行いました
  • @shijie-lyu さんが https://github.com/vllm-project/vllm/pull/55771 で初めてコントリビューションを行いました
  • @shiyuan680 さんが https://github.com/vllm-project/vllm/pull/51350 で初めてコントリビューションを行いました
  • @shreyanshj10 さんが https://github.com/vllm-project/vllm/pull/60359 で初めてコントリビューションを行いました
  • @siliangchen-amd さんが https://github.com/vllm-project/vllm/pull/57108 で初めてコントリビューションを行いました
  • @Sohaib-Ahmed21 さんが https://github.com/vllm-project/vllm/pull/59827 で初めてコントリビューションを行いました
  • @spa5k さんが https://github.com/vllm-project/vllm/pull/60497 で初めてコントリビューションを行いました
  • @sricursion さんが https://github.com/vllm-project/vllm/pull/60307 で初めてコントリビューションを行いました
  • @SunnyR さんが https://github.com/vllm-project/vllm/pull/59811 で初めてコントリビューションを行いました
  • @superdiaodiao さんが https://github.com/vllm-project/vllm/pull/55717 で初めてコントリビューションを行いました
  • @surajsharan さんが https://github.com/vllm-project/vllm/pull/60225 で初めてコントリビューションを行いました
  • @surawut-jirasaktavee さんが https://github.com/vllm-project/vllm/pull/60876 で初めてコントリビューションを行いました
  • @Thiago4532 さんが https://github.com/vllm-project/vllm/pull/58014 で初めてコントリビューションを行いました
  • @TommyTranX さんが https://github.com/vllm-project/vllm/pull/48039 で初めてコントリビューションを行いました
  • @TylerMa-debugg さんが https://github.com/vllm-project/vllm/pull/59917 で初めてコントリビューションを行いました
  • @ultramancode さんが https://github.com/vllm-project/vllm/pull/60786 で初めてコントリビューションを行いました
  • @usmanmateen さんが https://github.com/vllm-project/vllm/pull/59336 で初めてコントリビューションを行いました
  • @v-shobhit さんが https://github.com/vllm-project/vllm/pull/59655 で初めてコントリビューションを行いました
  • @vaclavcadek さんが https://github.com/vllm-project/vllm/pull/49602 で初めてコントリビューションを行いました
  • @viktorkou さんが https://github.com/vllm-project/vllm/pull/58124 で初めてコントリビューションを行いました
  • @vovani さんが https://github.com/vllm-project/vllm/pull/60194 で初めてコントリビューションを行いました
  • @WarrierRajeev さんが https://github.com/vllm-project/vllm/pull/59135 で初めてコントリビューションを行いました
  • @www6v さんが https://github.com/vllm-project/vllm/pull/59749 で初めてコントリビューションを行いました
  • @xiaofei-zheng さんが https://github.com/vllm-project/vllm/pull/55104 で初めてコントリビューションを行いました
  • @xiaoyu-xyz さんが https://github.com/vllm-project/vllm/pull/55161 で初めてコントリビューションを行いました
  • @xuantengh さんが https://github.com/vllm-project/vllm/pull/56740 で初めてコントリビューションを行いました
  • @yantinglai さんが https://github.com/vllm-project/vllm/pull/59530 で初めてコントリビューションを行いました
  • @YashasviAsthana さんが初めてコントリビューションを行いました: https://github.com/vllm-project/vllm/pull/59020
  • @YidaWeng さんが初めてコントリビューションを行いました: https://github.com/vllm-project/vllm/pull/59373
  • @yongqiw-i さんが初めてコントリビューションを行いました: https://github.com/vllm-project/vllm/pull/59159
  • @YueshenZ さんが初めてコントリビューションを行いました: https://github.com/vllm-project/vllm/pull/59257
  • @YuvrajSinghBhadoria2 さんが初めてコントリビューションを行いました: https://github.com/vllm-project/vllm/pull/57035
  • @zhangchengzhucufe-dev さんが初めてコントリビューションを行いました: https://github.com/vllm-project/vllm/pull/59886
  • @ZhenchengLin さんが初めてコントリビューションを行いました: https://github.com/vllm-project/vllm/pull/59251
  • @ztysth さんが初めてコントリビューションを行いました: https://github.com/vllm-project/vllm/pull/59721

コントリビューター

以下の皆さんへの言及:@BugenZhao, @aoshen02, @stefankoncarevic, @mgoin, @khluu, @hmellor, @yewentao256, @lesj0610, @MatthewBonanni, @jperezdealgaba, @ZJY0516, @AndreasKaratzas, @aarushjain29, @Sunt-ing, @NickLucche, @vadiklyutiy, @hickeyma, @divakar-amd, @yma11, @jzakrzew, @djramic, @simondanielsson, @microslaw, @Thangnguyenvn98, @mjkvaak-amd, @njhill, @chaojun-zhang, @sfeng33, @zhenwei-intel, @andyxning, @matteso1, @vMaroon, @alec-flowers, @simon-veitner-redhat, @TheEpicDolphin, @cagrikymk, @atalman, @shijie-lyu, @cheese-cakee, @Juntian777, @ivanium, @chaunceyjiang, @louie-tsai, @Dovis01, @apex-mochen, @wzhao18, @venkywonka, @pmanczak, @stecasta, @jinzhen-lin, @gty111, @noooop, @Rohan138, @rasmith, @laithsakka, @Fangzhou-Ai, @tlrmchlsmth, @Isotr0py, @cjackal, @vllmellm, @liusy58, @reidliu41, @peperunas, @shimib, @ojeda-e, @yonigozlan, @ShuoleiWang, @lucamotz, @ai-jz, @he-yufeng, @DimensionSTP, @taneem-ibrahim, @LucasWilkinson, @wangshangsam, @whx-sjtu, @micah-wil, @bzsuni, @robertgshaw2-redhat, @arpera, @sricursion, @mawong-amd, @mmastrac, @rmhaskarnvidia, @nvbfalk, @debanshd, @abmfy, @shaohuaxi, @jin-amd, @xijiaat, @ashraf-bhuiyan, @beenpow, @LioEinaudi, @Ronald1995, @R3hankhan123, @ZhengGong-amd, @Akashcodes732, @S1ro1, @yuvalluria, @mganczarenko, @DarkLight1337, @pisceskkk, @YidaWeng, @TQCB, @gau-nernst, @askliar, @benchislett, @jackLei0901, @vx120, @amd-mghanimi, @YueshenZ, @aniskumar-nv, @fululi12, @liuzijing2014, @zyongye, @Prudhvivuda, @kliuae, @wjabbour, @AbhayShuklaIIT, @WarrierRajeev, @Jeff-Tseng-dev, @yifanFengg, @elvircrn, @zupengwang, @tangzzycc, @jeejeelee, @roikoren755, @JohnQinAMD, @LeizhenZhang, @Chinmay-Kulkarni-AMD, @sungbin1015, @zhangchengzhucufe-dev, @fxmarty-amd, @lucianommartins, @nishantrevur, @hyukjlee, @andylolu2, @wangxiyuan, @stu-cao, @vineethsaivs, @zzaebok, @WoosukKwon, @franciscojavierarceo, @hpdkhoa, @gcanlin, @zigzagcai, @ultramancode, @warrendeng, @surajsharan, @subhashpolisetti, @ilmarkov, @awesome-pro, @faaany, @spandantiwari, @almogtavor、 続くメンション:@ahmed-bsod, @danigarciaoca, @Alnusjaponica, @NNNtrance, @vaclavcadek, @YashasviAsthana, @QwertyJack, @Ubospica, @AlanFokCo, @jungjiyu, @lcskrishna, @YukioZzz, @hubunt, @sashko-zakharchuk, @staryxchen, @yzong-rh, @Ostring24, @taking-lying-flat, @drakosha, @CorgiBoyG, @QHarshil, @zhou9402, @shiyuan680, @fjosw, @a-sidorova, @GOavi101, @mrodden, @fuscof-ibm, @Taimys, @Rukhaiya2004, @KernelClint, @almayne, @JulienDarve, @sshlyapn, @eldarkurtic, @rbrugaro-amd, @GuyStone, @ZhenchengLin, @ArcheyChen, @djmmoss, @hjjq, @namgyu-youn, @jiangyunfan1, @ganeshr10, @markmc, @yantinglai, @Id545, @roipony, @JadenMathias, @hclsys, @Anurag-M1, @ukannika, @blueberry808, @nv-hwoo, @guanxingithub, @stmatengss, @mohit-sarvam, @Legend-2727, @xiaoyu-xyz, @hdq66666, @Lcy0801, @gaby, @erictang000, @jdebache, @Ayu190505, @DOCCA0, @C1ves, @maeehart, @wangyicong52, @AIwork4me, @Woolgathererer, @yongqiw-i, @divyvasal, @1fanwang, @TyroneNel, @ShengleiFu, @bluemelov1, @kamb-code, @LiRunGuo, @Thiago4532, @harshaljanjani, @ieaves, @NolenLiang, @sudhanshu112233shukla, @abhayjoshi201, @charlesli640, @Sohaib-Ahmed21, @akii96, @notimesea, @JRJRJPRO, @usberkeley, @Mazukiri, @brandonfzhang, @amd-xavierwang, @sawsa307, @czhu-cohere, @wtdcode, @tarukumar, @LostFox11, @big-yellow-duck, @SherifWaly, @roG0d, @esmeetu, @mgehre-amd, @samnordmann, @SunnyR, @ovidiusm, @cleonard530, @eky-amd, @yinli-systems, @MadhavJivrajani, @cquil11, @ywang96, @PatrykSaffer, @PatchouliTIS, @aditi-amd, @git-jxj, @vovani, @MohammadHijjawi97, @TommyTranX, @viktorkou, @xaguilar-amd, @MohitAMD, @danichan-mkm, @pondzikk, @ebfio, @mkhazraee, @ai-yang, @xuantengh, @dhairyashilRG, @www6v, @v-shobhit, @ejrtks1020, @Kylinny, @bnkaiteam, @huishi-hs, @jiahanc, @shen-shanshan, @zxd1997066, @Aravind-11, @usmanmateen, @devshah-cohere, @praveingk, @JartX, @TylerMa-debugg, @lobo235, @dougbtv, @Tialo, @kyleliang-nv, @YeonwooSung, @Kevinli24, @aijanai, @spa5k, @DGlan, @Btwestyo, @xianbaoqian, @rdlh, @hao-aaron, @errmakov, @amd-sriram, @ntheanh201、 最後のメンション:@LCAIZJ, @damienlaine, @shreyanshj10, @ischencheng, @0xViking, @yisustc, @bigPYJ1151, @Roy214, @Gregory-Pereira, @YuvrajSinghBhadoria2, @surawut-jirasaktavee, @Oxygen56, @andakai, @BolinSNLHM, @Dao007forever, @siliangchen-amd, @xiaofei-zheng, @gc-fu, @puneetsharma21, @linitra24, @devpramod, @yankay, @hlin99, @Godmook, @bvolpato, @UNIDY2002, @tc-mb, @JaredforReal, @hubert-marek, @Zhenzhong1, @AMD-yanfeiwang, @thuongvu, @JimmyWang0417, @MatthewCYM, @i-m-aditya, @lianakoleva, @peakcrosser7, @hoaivoke, @njriasan, @tjtanaa, @haotiaa, @superdiaodiao, @josh-schell-amd, @ztysth, @sungsooha, @Etelis, @natsala13, @ZhouXiaoya25

原文の出典

vLLM Releases

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください