金磊 発信地 凹非寺
量子位 | 公式アカウント QbitAI
ソースコードも論文もなく、ゼロから直接始める。
今朝、ForgeKernelという参加者のいないエージェントが、DeepSeekの元実装を参考せずに、全ネットワークの前で、DeepSeek最新のコアオペレータを9.8%早く書き上げました！
また、全プロセスのライブ配信は、22.5時間しかかからなかった（計算アルゴリズムの観点から見ると、非常に短い時間である）。これにより、多くのネットユーザーが視聴した：
具体的には、このライブ配信の内容は、NVIDIA B200上でDeepSeek-V4.1のFlashMLA Prefillオペレータを超えるAgentの実行です。
FlashMLAはDeepSeekが公開した注意深さ核心演算器ライブラリであり、10月20日に公開された推論フレームワークDeepInferにも組み込まれている。これは業界で最も強力と認められているInfraのチームによって作成され、人間の手書き演算の頂点を代表していると言える。
そして先ほども述べたように、AIが得るのは演算器の数学的定義と対象ハードウェアの制約のみであり、0フレームから始めることで、自己進化を通じて段階的に改善される。
この22.5時間の間に、一度の改稿、一つの性能数値の変化も、まるで生き生きと全ネットの視聴者たちの前に展開された：
- 第1版は正確性のチェックを通過したが、1834マイクロ秒の時間がかかり、効率が低い；
- 4時間未満で、所要時間が593マイクロ秒に抑えられ、67.6％の減少が達成され、ゼロから現在の最適実装の90％に近づいた。
- 第7時間の前後で、一度の核心構造の突破により、先に自身の前世代バージョンを超え、その後初めてFlashMLAを超えた。
- 午前9時過ぎにライブ配信が終了した。最終バージョンの時間は472マイクロ秒で、FlashMLAは518マイクロ秒であり、9.8％早かった。
全行程で42回の反復処理が行われ、32バージョンが作成されました。これには1枚のB200と22時間のGPU時間が必要でした。一方、このオペレータに対して人間が書いたコードは、0行です。
手書きの頂点は、人間が一行のコードも書かない演算器によって超えられてしまった。
では、これは一体どのようなエージェントなのでしょうか？
それは、面壁智能から来たオペレータ生成システムForgeKernelです。そして、このライブ配信が終了した後、スマート進化ラボがOpenBMBコミュニティと共にオープンソースを発表します。
しかし、このライブ配信はForgeKernelの初公開ではありません。数日前に、すでに一度有名になっていました。
国産計算能力の三つの第一位を独占した
10月27日、昇腾CANNの公式発表で、ForgeKernelが「点名」された。
同時に、CANNBenchの950DT、950PR、A3の3大ハードウェアランキングでトップに立った！
この3つのランキングは、それぞれ異なる3種類のハードウェアの向上に関するものであり、その成績の見どころもそれぞれ異なります。
まず、950DTのランキングを見てみましょう。これは3つのランキングの中で、経済的な面が最も明確に現れるものです。
ForgeKernelはこのランキングで4010.75点を記録し、2位を27.8%引き離して首位になりました。基準的な加速比は1.533×で、2位の約143%に相当します。
つまり、同じレベルのハードウェアを使用する場合、計算能力が約50％向上し、企業の計算能力の購入および導入コストが約半分に減少するということです。
このランキングが注目に値する理由は、950DTが新世代のチップであり、対応するオペレータライブラリも構築段階であるため、人の手で適合させる期間が長いからです。一方、ForgeKernelは先に適合を完了し、トップに立ちました。
これは、新しいハードウェアが発売されたばかりの段階で、AIが高品質のオペレータを迅速に生成できることを意味しています。チップが発売され、適合するまでの空白期間が大幅に短縮されているのです。
950PRは3つのランキングの中で最も競争が激しいものであり、トップ3の基準加速比はすべて1.3倍に達している：
ForgeKernelはこのランキングで総得点4165.94であり、同様に第1位です。基準加速比は1.638倍で、これは第2位の1.18倍に相当します。
最後に、A3です。これは、現在広く使用されている昇腾910Cです。
10月15日に発表されたCANNBench v1.1では、A3ハードウェアランキングで第1位を獲得していました。v2.0の発表後もその位置は変わらず、現在の総得点は4341.16で、ベンチレートは1.898×であり、これは第2位の1.22倍に相当します。
このライブ配信で、ForgeKernelはNVIDIA B200上でCUDAを使用して実行されています。このエコシステムには長年にわたる専門家の経験が蓄積されています。一方、この3つのランキングは昇腾上で実行されており、昇腾には独自のアーキテクチャとツールチェーンがあります。
両側のソフトウェアとハードウェアには大きな差があるにもかかわらず、ForgeKernelは同じシステムを使用して、両方で1位を獲得した。
では、次の問題は、それがどのように成し遂げられたのかということです。
無師自通のようなものです
モデルの最終的な走行速度は、大きくは計算器に依存する。
同じモデル、同じチップで、より効率的な演算器を使用すると、性能に明らかな差が生じる。
長年にわたり、高性能演算器は経験豊富なエンジニアが個別に手作業で調整を行う必要があり、プロセスが長く、ハードルが高かった。CUDAエコシステムが今日に至るまで存在するのは、多年にわたる専門家の蓄積によるものである。一方、国産チップが新しい世代のハードウェアや新しいモデルを導入するたびに、再適合が必要となる。
一言で言えば、人間の専門家の数は、チップやモデルの進化の速さに追いつけない。
では、この状況をどう解決するか？
10月27日、ForgeKernelチームと清華大学などの機関がarXiv上で、「JustGoal：With Only a Goal，the AI Baseline Is Above the Expert Kernels」というタイトルの論文を発表した。
この論文において、研究チームはモデルに単一の最適化目標のみを与え、何らかの演算器に関する知識も提供せず、固定されたプロセスも定めず、モデルに自らを最適化させるようにした。その結果、B200上で、モデルは10個の演算器のうち8個で、人間が保守するオープンソースライブラリよりも優れた性能を示した。
彼らは同じモデルに、MIT韓松チームが開発した特別なフレームワークKDA-0.5を適用しました。単一配置最適化タスクにおける平均成績は、JustGoalの0.95×にしかなりませんでした。つまり、書き込みオペレータはモデル自身の能力にますます依存するようになり、専門家が事前に書き込んだ経験やプロセスは、その効果が小さくなっています。
しかし、目標を与えるだけでは行えない点もあります。モデルは細部の調整に長けますが、全体の構造を独立して設計するのは難しく、数回の試行の中で道筋が固定されてしまい、その後は元の構造の中で微調整するしかありません。ForgeKernelはJustGoalの基礎の上で、この短所を特別に補うものです。
その方法は三つの部分に分けられる：
- 一つは、アーキテクチャ設計と実装能力を分離し、アーキテクチャ設計をマイルストーンに抽象化して問題を分解することです。
- 二つ目は、各実測で検証されたハードウェアの経験を知識庫に保存し、別の演算器を使ってもそのまま利用できるようにすることです。
- 三つ目は、自分が書いた最良のバージョンを次のラウンドの対手とし、一層ずつ自己進化する。
そして、これら3つの部分は、先ほど私たちが示したライブ配信とちょうど対応しています。
ForgeKernelは、自分の前世代のバージョンを超えた後、次にFlashMLAを超えました。これが自己進化です。
後期になると、Qの突発的なロードがKVデータの転送と競合してアクセスリソースを奪うことに気づき、Qのリクエストのペースを自ら制御することで、2.4％のコストを抑えることができるようになった。このような判断は以前は経験豊富な専門家が行っていたものだ。
△ForgeKernel LiveのAgent実行ログ
より多くのオペレータを追加すると、ForgeKernelは29項目の比較で24項目でエキスパートの実装と同等またはそれを上回りました。3つの先導的なAgentシステムの公開されている7つの最強オペレータも、すべて同等またはそれを上回っています。
この収益は、異なる国産チップ間でも複製可能です。なぜならForgeKernelの設計には、国産チップに対する利点があるからです。それは、特定のハードウェアに依存しないという点です。
具体的なオペレータの実装については、各チップのハードウェア特性に合わせて書く必要があり、そのままコピーすることはできない。しかし、ForgeKernel組織が行う最適化方法は汎用的であり、どのチップにも固定されたプロセスは存在しない。NVIDIAから昇腾へ移行する際には、性能分析ツールをNCUからmsprofに変更すればよく、新しいチップに必要なハードウェアに関する知識は、モデルをそのチップ上で実行しながら蓄積される。
そうなると、ForgeKernelは他の国産チップに迅速に移行できる。新世代の国産チップが登場した時も、最初から一からプロセスを構築する必要はない。
節約されたのは実際のお金です
算定器が1%速くなれば、それは一体何を意味するのでしょうか？
ガートナーの最新予測によると、2026年の世界のAIインフラ投資は約1.48兆ドルになるとされています。この規模であれば、計算能力の効率が1%向上するごとに、約148億米ドルに相当します。
国産チップに搭載した場合、この問題はより明確になります。
英伟达のCUDAは専門家によって何年も优化されており、すでに多くの高性能オペレータが存在する。AIをさらに加速させる余地は限られている。国産チップに対応するオペレータライブラリはまだ不完全であり、多くのオペレータが十分に調整されていないため、AIがもたらす改善はより明確になる。
ForgeKernelチームはAIを利用してトレーニングフレームワークを最適化する際にもこの違いを見出した。同じ方法を用いると、国産チップでは20%～30%の速度向上が見られ、NVIDIAでは5%～10%の速度向上が期待される。これにより、ForgeKernelは国産チップのトレーニングおよび推論タスクにおけるコストパフォーマンスをさらに高め、NVIDIAとの差を縮めることができる。
コードを書くことにAIにほとんどコストがかからなくなった後、以前は専門家が高すぎて費用が見積もれないと嫌だった最適化も、価値があるようになりました。例えば、特定のモデルやチップに合わせて個別の演算器を特別に作るなどです。
実際に、これらの人間の専門家を超えるアルゴリズムはランキングに留まらず、実際の産業の最前線へと進出している。
現在、ForgeKernelが生成したオペレータは正式にトレーニングフレームワークに組み込まれ、国産チップおよびNVIDIAプラットフォーム上でMiniCPM5-1Bの長期テストを完了しました。
さらに注目すべきは、この計算能力の基盤を再構築する過程において、DeepSeek V4.1を代表とする国産大規模モデルが、計算操作の生成と最適化に参加し始めていることです。そして、これらの計算操作は、最終的に国産チップ上で安定して動作しているのです。
「国産モデル書き込みオペレーター、国産チップ実行オペレーター」という、中国のAI全体的なエコシステムの閉環が形成されている。
これはコンビナトリアルの勝利に他ならず、RSI（再帰的自己進化）が実現した真実の縮図である：AI研究開発の主体が、人間からAIへと移行している。
壁を越えるスマートインテリジェンスの進化のチーフサイエンティスト李宇轩が言うように、コードが機械で迅速に検証できるため、工学の実装は理論研究より先に闭环を達成する。
以前は、FlashAttentionシリーズのように深い構造再設計が必要なトップクラスの演算器を、人間の専門家が一度のイテレーションを完了するのに数ヶ月から半年もかかることが多かった。しかし現在では、チーム内でAIが人間の最良の実装を超える演算器の最適化作業は、最大で2日しかからない。
そして、ForgeKernelが正式にオープンソースになったことで、この手法はインフラとして機能し、国産チップメーカーやモデルチームに新たな効率化の道を提供する。
以前は国産チップがニューラビアを追い越す必要がありましたが、難しいのはハードウェアの指標ではなく、CUDAエコシステムに蓄積された十数年分の専門家の経験とソフトウェアの層構造でした。しかしRSIのパラダイムの下では、AIが数年かけて人件費で築き上げられたこのエコシステムの障壁を完全に打ち破り、直接端到端で最適解を生成しています。
「国産モデル書き込みオペレーター、国産チップ実行オペレーター」が新たなオペレーター工学のパラダイムとなり、研究開発の主体はおそらく不可逆的に人間からモデルへと移行している。しかし、これは人間の専門家が退場することを意味するわけではなく、彼らの仕事の焦点が根本的に変化しただけである：
手作業で各層のコードを磨くことから、AIの環境を構築し、目標と基準を設定して、AIがより優れたオペレータを作成するのを支援することへと移行した。
人類がコードの職人からシステムアーキテクトへと変わる中、国産チップが「動く」ことと「うまく動く」ことの間の隔たりが、AIによって時間単位で急速に埋められていく。