Metaが新たにリリースした816B（アクティブ42B）のオープンウェイトモデル「Muse Spark Open」の結果が、AA-AgentPerfで公開されました。当初のテストでは、4x NVIDIA GB300またはB300 GPU上で、消費電力1MWあたり最大約150M tokens/sのスループットに到達しています
Muse Spark OpenはArtificial Analysis Intelligence Indexで39を記録しました。62層のMoEであり、そのうち46層は2,048トークンのスライディングウィンドウアテンションを使用しており、フルアテンションと比較して1MコンテキストでのKVキャッシュ要件を約75%削減しています。MetaはNVFP4チェックポイントを公開し、AMDはMXFP4チェックポイントを公開しており、それぞれNVIDIAとAMDのハードウェアに使用しています
初期結果：
➤ NVIDIA B300とGB300が首位で、スループット重視（1ユーザーあたりの速度は低め）の構成でそれぞれ1MWあたり約150M tokens/sに到達しています。GB300は高い出力速度で優位に立っており（100 tok/sで約108M対約92M）、両者ともこれまでアグリゲート型サービング構成でのみテストされていますが、マルチノードのディスアグリゲーション構成ではGB300がB300に対してリードを広げると予想されます
➤ サービング構成は急速に改善しています。同じB300ノード上で、NVIDIAのチューニング済みSGLang構成は、50-100 tok/sにおいてローンチ週のcookbook構成の約1.6-1.8倍の1MWあたりスループットを達成しています。この向上は、TP4デプロイメントと、並行数ごとに調整されたprefill-decode間隔によるもので、初トークンまでの時間が長くなるという代償を伴います
➤ AMD MI355Xは65 tok/sで1MWあたり70M tokens/sに到達しており、65〜100 tok/sの範囲ではB200の約0.9倍です。AMDの10月22日のレシピ更新（prefill-decodeとスケジューラの間隔、より多くのトークナイザーワーカー、フルアテンション層向けのより多くのKVキャッシュ）により、以前のレシピと比較して1MWあたり約1.7倍に向上しました
私たちはマルチノードのディスアグリゲーションを含むMuse Spark Openのサービング構成のテストを継続しており、これまでに見つかった最良の結果と構成を掲示板に毎週更新して掲載します。また、Muse Spark Open向けのカーネル、推論エンジン、構成の最適化における進展について、より詳細なレビューも公開する予定です