MarkTechPost

オープンモデルはセキュリティ研究を遂行できるか? Cantinaのapex-flash-1が60の非公開バグタスクのうち40を解決

Cantina Securityは、Yeta Labsと共に、脆弱性研究のために特別に訓練されたオープンウェイトモデルであるapex-flash-1をリリースしました。これはZ.aiのGLM-5.3-Flashを強化学習でファインチューニングしたもので、MITライセンスの下でHugging Faceにて公開されています。デプロイ可能か?…

Cantina Securityが、Yeta Labsと共にリリースしたのは apex-flash-1で、脆弱性研究のために特別に訓練されたオープンウェイトモデルです。これはZ.aiの GLM-5.3-Flashを強化学習でファインチューニングしたもので、MITライセンスの下で Hugging Face にて公開されています。

デプロイ可能か? はい、MITのウェイトはvLLM、SGLang、Transformersで動作しますが、BF16では約640 GBのGPUメモリが必要です。

Cantinaが構築したもの

apex-flash-1は、そのHugging Faceのsafetensorsメタデータによると、総パラメータ数321.3Bです。GLM-5.3-Flashのベースは、18Bのアクティブパラメータを持つMixture-of-Expertsモデルです。

Cantinaはこれを GRPO を用いて、rank-256の LoRA と選択的な全パラメータ訓練の組み合わせで訓練しました。データは、50の実際の脆弱性ケースから構築された150のタスクをカバーしています。

各ケースは3つのバリエーションで登場します: guided whitebox、focused whitebox、focused blackboxです。

認可、識別情報、スコープの欠陥がケースの72%を占めます。会計および数値精度のバグが18%を加えます。残りは時間検証、ビジネスルール、SSRFがカバーしています。

HFのモデルカードによると、強化学習のロールアウトは、本番に近いソフトウェアおよびプロトコル環境上の Codex エージェントハーネス内で実行されました。

ベンチマーク結果

Cantinaは、20の非公開脆弱性ケースから得た60のタスクを評価しました。各モデルはこのセットを1回実行し、コストはプロバイダーの価格設定から推定されました。

  • apex-flash-1: 40/60を解決(pass@1で66.7%)、約$2.38
  • GLM-5.3-Flash(ベース): 36/60を解決(60.0%)、約$4.56
  • Claude Opus 5 High: 60問中43問を解決(71.7%)、約$74.68

Opusはさらに3問多く解決しましたが、1回の実行コストは約31倍でした。これは、apex-flash-1では解決タスクあたり約$0.06、Opusでは$1.74に相当します。これらは社内ベンチマークにおける企業公表の数値です。

ワーカーモデルであり、オーケストレーターではない

Cantinaはapex-flash-1を、より大きなモデルによってオーケストレーションされるワーカーとして位置付けています。モデルカードには、コードリーディング、ツール使用、エクスプロイト開発、検証が対象スキルとして記載されています。

実験的な apex-flash-1-abliterated バリアントは、修正された拒否動作を備えて提供されます。これは別個には評価されていません。

Cantinaの主張は、防御側にはローカルで実行・制御できる高性能なモデルが必要だというものです。

インタラクティブ解説

比較

特徴apex-flash-1Aikido Altar-1Cisco Foundation-Sec-8B-ReasoningGLM-5.3-Flash
開発者Cantina Security + Yeta LabsAikido SecurityCisco Foundation AIZ.ai
ベースモデルGLM-5.3-FlashGLM-5.3(プルーニング版)Llama 3.1 8B独自事前学習
サイズ合計321.3Bパラメータ、BF16328 GB、INT4(W4A16)8B合計320B、アクティブ18B
ライセンスMITGLM-5.3のライセンスを継承カスタム(NOTICE.mdを参照)MIT
セキュリティ手法50件の実際の脆弱性ケースに対するGRPO RLエキスパートプルーニング(REAP)+量子化セキュリティQAに対するインストラクションチューニング+RLHF汎用ベースモデル
主な用途エージェント型脆弱性リサーチワーカーエアギャップ環境での自律的ペネトレーションテストSOCトリアージと脅威防御汎用コーディングおよびエージェント
ハードウェアマルチGPUノード(約642 GBのBF16重み)vLLMを使用した4x H200シングルGPUマルチGPUノード
公開済みのセキュリティ成果pass@1 66.7%、60タスク60.4% の再現率、32件のCVEからなる社内セットCiscoが報告したセキュリティベンチマークCantinaのセットでは60.0%

出典: Cantina, 合気道, シスコ「、Hugging Face モデルカード。© Marktechpost」

主なポイント

  • apex-flash-1は、MITライセンスの321.3Bオープンウェイト・セキュリティモデルです。
  • 実在の脆弱性50件の事例に対するGRPOトレーニングにより、150のタスクが生成されました。
  • pass@1スコアは66.7%で、Claude Opus 5 Highの71.7%に対する結果でした。
  • 60タスクの実行コストは約2.38ドルで、Opusの74.68ドルと比較して低額でした。
  • BF16にはマルチGPUノードが必要です。コミュニティによる4ビット版の移植が存在します。


ぜひチェックしてみてください、 技術的詳細。本プロジェクトの研究者に全ての功績が帰属します。また、ぜひ私たちをフォローしてください。 Twitter また、私たちの 150k以上のML SubReddit および「Subscribe to」 当社のニュースレター. お待ちください!Telegram(テレグラム)を使っていますか? Telegramでもご参加いただけるようになりました。

あなたのGitHubリポジトリ、Hugging Faceページ、製品リリース、ウェビナーなどのプロモーションで当社とのパートナーシップをご希望ですか? 私たちとつながりましょう

投稿 オープンモデルはセキュリティリサーチを遂行できるか?Cantinaのapex-flash-1が非公開の60件のバグタスクのうち40件を解決 最初に掲載されたのは MarkTechPost.

原文の出典

MarkTechPost

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください