qwenGPU は、SIMT GPUを直接ウェイトにコンパイルした実験的なモデルで、 Qwen3.5-2Bがベースです。開発者のVixhal（@TheVixhal）が GitHub でMITライセンスのもと公開しました。このモデルは、自身のフォワードパスの中で、NVIDIA PTXにコンパイルされた実際のCUDAを実行します。開発者にとって、これはひとつのアイデア、すなわち事前学習済みLLMの「内部」で厳密な計算を行うというアイデア（その横ではなく）を検証するものです。
TL;DR
- サイズ： Qwen3.5-2B（レイヤー24個）にコンパイル済みGPUレイヤー45個を加え、合計69。コンテキスト：262,144トークン（ベースモデル）。
- 動作環境： Appleシリコン、NVIDIA GPU、またはCPU。空きメモリ約16 GBが必要。量子化ビルドはなし。
- パフォーマンス： 開発者の実行におけるすべての起動は厳密であり、テキストのドリフトはKL約7e-4。
- 最良の結果： リファレンスインタプリタは、実際のNVIDIA Tesla T4に対して49個中49個のカーネルで一致。
- 最悪の結果： Apple MPSで毎秒約10〜15トークン。Qwenが書いたCUDAは5個中4個が合格。
qwenGPUとは何か？
qwenGPUは、Qwen3.5-2Bに コンパイル済みトランスフォーマーレイヤー45個 Qwen独自の24の前に配置したものです。これらのレイヤーはどれも訓練されていません。すべての重みはコンパイラが計算します。
GPUはどのようにモデルのウェイトに収まるのか？
このGPUはレーン4本のSIMTマシンです。レーンごとにレジスタ15個、4段パイプライン、32ブロックのROM、126ワードのメモリを備えています。使用しているのはQwen3.5独自のレイヤー種別のみ、すなわちGated DeltaNetの線形アテンションとSwiGLU MLPです。
鍵となるのはGated DeltaNetのリカレント状態です。この回路のヘッドでは、ゲートが開いたままにされ、書き込み強度は1になっています。すべてのキーはワンホットです。各更新は正確に1行を上書きし、ワンホットのクエリがそれを読み戻します。そのため、各行がメモリセルとして機能します。
この状態がプログラムROM、レジスタ、グローバルメモリを保持します。READMEにはレーンごとにレジスタ行16個が記載されており、そのうち1つは常にゼロを読み出します。これはXの投稿にある使用可能レジスタ15個という記述と一致します。
このGPUは整数演算、述語、分岐する分岐、ループをサポートしています。さらに、共有メモリと atomicAdd, __syncthreads() ワープシャッフルもサポートしています。
CUDA の起動時には何が起こるのか？
ホストは NVRTC と CUDA ドライバーの役割を担う。clang で CUDA を PTX にコンパイルし、その後 PTX をマシンブロックへ低レベル化する。プログラムと入力配列をトークンとしてモデルに与える。
そこから先は、モデル自身が起動を書き出す。各 EXEC(b, w) トークンは 1 回のフォワードパスで、 b ワープの w 1回のフォワードパスで。The VAL 個のトークンがレジスタの結果を運ぶ。メモリ書き込みは MEM レコードとして返る。ホストはリカレント状態から結果を読み取り、それ自体は何も計算しない。
の デモ動画では、[1, 2, 3] と [4, 5, 6] のドット積が 32 を返す。モデルはその起動を 47 トークンで書き出した。
qwenGPU をご紹介: SIMT GPU を重みの中に組み込んだ Qwen3.5-2B。Qwen 自身の層の手前に 45 層のコンパイル済み層を配置し、その Gated DeltaNet 層をレジスタ兼メモリとして使用する。
— vixhaℓ (@TheVixhal) 2026年11月1日
フォワードパス内で実際の CUDA を実行する。ホストがカーネルを PTX にコンパイルしてロードし、その後モデルがすべてを書き出す… pic.twitter.com/iM5IETEbIv
GPU は Qwen のテキスト能力を損なわないのか？
開発者の測定では損なわれない。回路はテキストトークンではミュートされ、Qwen 自身の重みは変更されていない。マージ後のモデルの次トークン分布は、元のモデルとの KL 距離が約 7e-4 以内に収まっている。
qwenGPU の精度はどのくらいか？
すべての数値は自己報告であり、Apple シリコン上で MPS を使って bf16 で測定されたもの:
- すべての起動は
--checkでのリプレイのもとで正確だった。 - リファレンスインタープリターは、49 個中 49 個のテストカーネルで NVIDIA Tesla T4 と一致した。
- ノーマルモードでは、サンプリングされた 24 問のチャット質問のうち 20 問に GPU 計算による数値で回答した。
- アドバンスドモードでは、5 問中 4 問で最初の試みで正しいカーネルを書き出した。
ノーマルモードでは、Qwen は既製カーネル向けに次のような式を書く: [1, 2, 3] @ [4, 5, 6] アドバンスドモードでは、Qwen が CUDA カーネル自体を書く。README には、2B モデルの CUDA はまだ信頼性が低いという注意書きがある。
qwenGPUはQwenputerやPerceptaとどう比較されますか?
qwenGPUは Qwenputer によるtransformerコンパイラを使用しています。Divyansh AgrawalによるQwenputerは、32ビットのRISC-V CPUをQwen3.5-4Bにコンパイルします。 Percepta は2026年3月に、2Dアテンションヘッドを持つtransformerにWebAssemblyインタプリタを組み込みました。
| 特徴 | qwenGPU | Qwenputer（RISC-V） | Percepta |
|---|---|---|---|
| ベースモデル | Qwen3.5-2B、24層 | Qwen3.5-4B | 2Dアテンションヘッドを持つカスタムtransformer |
| コンパイルされるマシン | 4レーンSIMT GPU | 32ビットRISC-V（RV32IM + Zba + bignum） | WebAssemblyインタプリタ |
| 実行できるプログラム | CUDA（PTXから lowering） | CおよびMicroPython | C（WebAssemblyにコンパイル） |
| コンパイルされた層 | 45 | 11 | 非公開 |
| 状態の格納場所 | Gated DeltaNet状態 | Gated DeltaNet状態 | コンテキスト内の実行トレース |
| ホストの役割 | CUDAをPTXにコンパイルし、トークンをロードし、結果を読み取る | ファームウェアをロードする。計算は一切実行しない | 非公開 |
| 正確性チェック | インタープリターは49個中49個のカーネルでTesla T4と一致 | 再生された約230,000ポジションで不一致0件 | 数百万の信頼できるステップを主張 |
| 報告された速度 | 10〜15 tokens/s(Apple MPS) | 約3,200 trace tokens/s（L4、Triton） | 30,000以上トークン/秒(CPU) |
| ベースモデルからのテキストのドリフト | KLはおよそ7e-4 | KL 6e-4 | 該当なし |
| ライセンス | MITコード、Apache-2.0チェックポイント | MITライセンスのコード。Apache-2.0のウェイト | 非公開 |
スピードの数値は異なるハードウェアとトークンタイプを使用しているため、直接比較することはできません。
実行するには何が必要ですか？
The クイックスタート Python 3.11以上、uv、just、および約16 GBの空きメモリが必要です。アドバンスドモードでは、さらにNVPTXバックエンド対応のclangが必要です。 just build Qwen3.5-2Bをダウンロードし、GPUをそこへコンパイルします。事前ビルドされたチェックポイントは公開されていません。ビルドされたチェックポイントはQwenのApache-2.0ライセンスの対象となります。
要点
- qwenGPUは、4レーンのSIMT GPUを、訓練されていない45層としてQwen3.5-2Bにコンパイルします。
- Gated DeltaNetの状態は、レジスタ、プログラムROM、およびグローバルメモリとして機能します。
- モデルはCUDAの起動（launch）手順をすべて記述し、ホスト側はコンパイルとロードのみを行う。
- インタプリタは49個すべてのカーネルのうち49個でTesla T4に一致しました。
- 秒間10〜15トークンという速度では、これは研究デモであり、実行環境ではありません。
チェックしてみてください: GitHubリポジトリ、その qgpu CUDA リファレンス、その Qwen3.5-2B モデルカード そして、その 元のXの投稿。また、ぜひフォローしてください Twitter そして忘れずにご参加ください 150k+ML SubReddit さらに購読もどうぞ our Newsletter。お待ちください!Telegramをご利用ですか? 今ではTelegramでもご参加いただけます。
GitHubリポジトリ、Hugging Faceページ、製品リリース、ウェビナーなどのプロモーションで弊社と提携をご希望ですか? お問い合わせください
本記事 Meet qwenGPU: Qwen3.5-2B With 45 Compiled GPU Layers That Run CUDA は最初に以下に掲載されました MarkTechPost.