MarkTechPost出典公開日

Nace AI、Drex Max v1をオープンソース化:Apple Silicon上でローカル動作する27Bの意思決定モデル

Nace AIはリリースしました オープンウェイトとしてのDrex Max v1。Drex Maxは同社の最も高性能な意思決定モデルであり、自身のハードウェア上で動作するようになりました。

Nace AIはリリースしました オープンウェイトとしてのDrex Max v1。Drex Maxは同社の最も高性能な意思決定モデルであり、自身のハードウェア上で動作するようになりました。今回のリリースには、bf16ウェイト、 Q8_0 GGUF、 アフィンQ4チェックポイント 、さらに llama.cpp および Ollamaのフォークが含まれています。開発者にとって、Drex Maxのオープンウェイトは、ルーティング、分類、ポリシーチェックをローカルマシン上に留められることを意味します。

TL;DR

  • サイズ: デンスな27Bパラメータ、262,144トークンのコンテキストウィンドウ(デフォルトは16,384)、1問あたり最大255の選択肢。
  • 動作環境: Pythonを備えたNVIDIA GPU(H100 bf16、または8ビットのL40S 48 GB)。24 GB以上(アフィンQ4)または48 GB(Q8_0 GGUF)を搭載したApple Silicon Mac。llama.cppおよびOllama経由のCPU。
  • パフォーマンス: 公開されているDecision Index 0.4で67.52、Drex v2.0を6.27ポイント上回る(自己申告)。
  • 最高スコア: InfographicVQAで97.3のスキル。ツール分野は81.9に到達。Mac上でオフラインで実行できるトップクラスの意思決定モデルです。

Drex Maxとは何か?

Drex Maxは Nace.AI の意思決定モデルで、与えられたコンテキストに関する型付きの質問に回答します。状態(テキスト、JSON、または画像)と名前付きの質問を渡すと、モデルは1回のフォワードパスですべての選択肢に対する確率を返します。 生成されるものは何もありません.

質問には3種類あります:名前付き選択肢からの選択、はい/いいえ、そして順序スコア。そのため、エージェントのルーティング、チケットのトリアージ、ガードレールチェックに適しています。 ホスト型バージョン は、ルーティング、分類、ポリシーチェック向けに提供されています。

Drex Maxはどのように動作するのか?

その モデルカード 64層からなる高密度な27Bバックボーンについて説明しています。うち48層は左から右へ処理するGated DeltaNetの線形注意層です。残りの16層は完全注意層で、4層ごとに配置され、非因果的です。すべてのトークンが系列全体に注意を向けることができます。

画像はネイティブのビジョンタワーを通過し、リクエスト内のすべての質問に対して見える状態になります。次に255方式の読み出しヘッドが最後の隠れ状態を選択肢の確率に変換します。The 設定 262,144ポジションのウィンドウを持つqwen3_5モデルタイプを列挙しています。

Drex Maxはベンチマークでどのような性能を発揮しますか?

「以下のすべての数値はNace AIによる自己申告のものであり、」

  • Decision Index 0.4(公開テキスト): 67.52。Drex v2.0は61.25、Jev 1.13.0は57.96を記録した。
  • エリアスキル: ツール 81.9、言語 72.2、検索 68.8、知識と推論 57.1、芸術 53.4。
  • ビジョン公開指数: 11のベンチマークと12,210行にわたって73.92。
  • Artificial Analysis 意思決定インデックス: 64で、Nace氏によると18人中4位だという。
  • JevBench: 92.2% (213/231). Decision Bench v4: 94.30% (1010/1071).

この 結果データセット 140,620件のリクエストを対象とします。未回答のリクエストは誤りとしてカウントされます。

Drex Max をローカルで実行するにはどうすればよいですか?

Naceは5つのランタイムをドキュメント化しています。それらはすべて同じPOST /v1/systemone APIを提供します。

ランタイムハードウェアチェックポイント画像
PythonNVIDIA GPUbf16 (~49 GB) または 8-bit (~26 GB)はい
llama.cppフォークApple Metal、CPUQ8_0 GGUF (27.25 GB)いいえ
OllamaフォークApple Metal、CPUQ8_0 GGUFいいえ
Kapitsa v0.2.25+Apple SiliconQ8_0 GGUFまたはアフィンQ4いいえ
MLXApple SiliconアフィンQ4 (14.45 GB)いいえ

この アフィンQ4チェックポイント は、24 GB以上のMac向けです。Q8_0 GGUFには48 GBが必要です。48 GBのMacでは、NaceはKapitsaに–context 2048を推奨しています。

Ollamaユーザーはnum_gpu 40を設定して40層をMetalにオフロードします。num_gpu 0に設定するとCPU上で実行されます。この Ollamaフォーク には、ModelfileにCAPABILITY決定行が必要です。

量子化はNaceのテストでも十分な性能を維持しています。48 GBのApple M5 Pro上で、 Q8_0 GGUF はH100 bf16と確率ごとに0.02以内で一致しました。アフィンQ4はQ8_0との差が0.0329以内に収まり、選択の反転はありませんでした。

Drex Maxと他の決定モデルの比較

Drex Max v1Drex v2.0Drex v1.5Jev 1.13.0
パラメータ27B dense35B MoE、約3Bアクティブ9B非公開
最大コンテキスト262,144131,072131,072非公開
入力テキスト、JSON、画像テキスト(ビジョンタワーなし)テキスト非公開
重みオープン、Nace.AI Open RAIL-Mオープン、Nace.AI Open RAIL-Mオープン、Nace.AI Open RAIL-Mクローズド、ホスト型
最小のローカルファイルAffine Q4、24 GB以上のMacQ8_0、36.9 GBQ8_0、約9.5 GB該当なし
Public Decision Index67.52(v0.4)61.25(v0.3.1)58.08(v0.3.1)57.96
JevBench92.2%85.7%非公開86.6%
AA Decision Index6458未掲載58
ホスト型価格$0.03 / 1K件の決定(リリース時)$0.06 / 1K件の決定$0.04 / 1K件の決定$42 / 1Mタスク

Nace AIチームは、Decision Index 0.4が0.3.1と同じ公開スイートを使用していると述べています。 

要点

  • Drex Max v1の重みがNace.AI Open RAIL-Mの下で公開されました。
  • Decision Index 0.4で67.52を記録し、Drex v2.0(61.25)を上回っています。
  • 4ビット構成は、KapitsaまたはMLXを介して24 GBのApple Silicon Mac上で動作します。
  • Q8_0 は M5 Pro 上で H100 bf16 との差が 0.02 以内でした。
  • ローカルのMacおよびCPUのパスは、現時点ではテキストのみです。

以下をチェックしてみてください モデルの重み, Q8_0 GGUF, コードとドキュメント, ツイート および クラウドコンソール. 


本記事の論点リーダーシップおよびリソースをご提供いただいたNace AIチームに感謝いたします。本記事はNace AIの提供でお送りします。

この記事 Nace AI、Drex Max v1をオープンソース化:Apple Silicon上でローカルに動作する27Bの意思決定モデル 最初に掲載されたのは MarkTechPost.

原文の出典

MarkTechPost

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください