オープンウェイトモデルはサイバー攻撃に対して88%高い脆弱性を持つ

私たちは脆弱性を検証するため、オープンウェイトモデルとプロプライエタリモデルを評価しました。その結果、オープンウェイトモデルは、現実世界の間接プロンプトインジェクションによるサイバー攻撃チェーンに対して88%高い脆弱性を示すことが判明しました。

この評価では、企業環境で最も広く使用されているプロバイダーについて、最新のフラッグシップモデルと最新のコストパフォーマンスに優れたバリアントをテストしました。

オープンウェイトモデルは、間接プロンプトインジェクションによるサイバー攻撃チェーンに対して88%高い脆弱性を示しました。以下は、オープンウェイトモデルとプロプライエタリモデルの間で脆弱性に顕著な差が見られた攻撃のサンプルです。

私たちが測定するもの

私たちの研究チームは、現実世界のエージェントシステム(例：Claude、ChatGPT、Atlassian Rovo など)の脆弱性を特定し、サイバー攻撃の影響(例：データ流出やリモートコード実行)を伴うエンドツーエンドの間接プロンプトインジェクション攻撃チェーンを開発しています。私たちの公開済み研究は、様々な業界フレームワークや出版物(例： OWASP Top 10 for LLMs および MITRE ATLAS、エージェントにおける データ流出 および エージェントの敵対的ロバスト性に関するOpenAIの研究).

私たちは次の問いに答えようとしました: オープンウェイトモデルは、現実世界の間接プロンプトインジェクションによるサイバー攻撃に対してどの程度脆弱なのか?

既存のサイバー/アライメントベンチマークは、こうした攻撃チェーンや手法をカバーしていません:

• 既存のベンチマークは、現実世界でエージェント型システムを悪用するために使われるサイバー攻撃チェーンをカバーしていません。
• これらは、常時稼働エージェントや長期間にわたるタスクなど、今日のエージェントが直面する実世界のユースケース(例：法務、医療、金融など)の複雑さや領域をカバーしていません。
• 彼らのペイロード設計の手法と方法論は現行世代のモデルには効果がなく、時代遅れであるため、モデルの脆弱性が過小評価されている。

このギャップを受け、実際のエージェント型システムがさらされる間接プロンプトインジェクションサイバー攻撃に対するモデルの脆弱性をより正確に測定するため、私たちは独自の評価ベンチマークを開発しました。

私たちの調査方法

実際のエージェント型システムは複雑であり、脅威モデルや攻撃対象領域はシステムごとに異なるため、評価環境はそれを反映する必要があります。たとえば、攻撃の成否を測るためにモデルの拒否に頼ることはできません。現実世界の攻撃では、モデルは自分が行っている行動を理解していないからです。そのため、モデルは攻撃に引っかかったかどうかについて誤った報告をする可能性があります(参照: Sonnet 5がマルウェアを実行していないと虚偽の主張をしたこと「)」などの攻撃に、すでに見抜いていたはずのものだとしても引っかかってしまうことがあります。以下に例を示します:

以下は、当社が評価する現実世界の間接プロンプトインジェクション・サイバー攻撃の種類の例です。

システム操作

エージェント型システムにおけるシステム操作は、信頼できないデータソースにエージェントが操られ、そのツールを用いてユーザーにとってサイバー攻撃的な結果をもたらす行動（例：機密性の高いメールを攻撃者に転送する、あるいは不正なワークフローを実行するなど）を取らされる場合に発生します。 

例えば、 ElasticのAgentic Security Operations Centerで発見した攻撃チェーンでは、エージェントはフィッシングメールの報告をトリアージする任務を負っていますが、アラートの1つの内容がエージェントを操作し、攻撃者のワークフローを実行させてしまいます。このワークフローは、アラートのルーティングルールの無効化、APIキーの発行と持ち出し、テナント内のデータの編集など、悪意ある行動を行います。

データ持ち出し(Exfiltration)

エージェントシステムにおけるデータ持ち出しとは、エージェントが信頼できないデータソースによって操作され、ユーザーのワークスペースからのデータが攻撃者に持ち出される結果となる出力を生成することを指します。

当社のチームは Atlassian Rovoにおけるデータ持ち出しを伴う間接プロンプトインジェクションのサイバー攻撃チェーンを特定しました。この攻撃では、Rovoはユーザーがオンラインで見つけたガイドに従ってJiraチケットを整理するよう任されます。このガイドには、エージェントにすべてのJiraチケットを攻撃者のURLの末尾に追記させ、その構築したURLをウェブサイト取得ツールを使ってリクエストさせる指示が隠されています。その後、攻撃者は受信したすべてのリクエストを記録します。これには、リクエストされたURLに追記された被害者のデータが含まれます。

フィッシング

エージェント型システムにおけるフィッシングとは、信頼されていないデータソースがモデルを操作し、ユーザーやエージェントが作成したコンテンツを扱う人々をフィッシングするような出力をモデルに生成させることを指します。

一部の例としては、悪意のあるリンクを生成するモデル、電話やメールで信頼できない相手に連絡するよう指示するもの、さらには偽のログイン画面を作成するコードを実行するモデルなどが挙げられます。

私たちのチームは特定しました Google Sheets向けChatGPTにおけるフィッシング攻撃チェーンこの攻撃では、インポートされたシートがChatGPTを操って攻撃者が管理するスクリプトを実行させ、そのスクリプトがフィッシング用のログインポップアップを開きます。

これらの例は、AIシステム向けのベンチマークにおいて我々が測定している攻撃の種類や攻撃チェーンの変異体のごく一部を示すものです。

モデルの脆弱性を評価するには、現実世界のタスク、ツール、能力を反映した現実的な環境だけでなく、攻撃者が手法を進化させるのに合わせて、最新の攻撃手法を用いた継続的なテストも必要です。

さらなる知見:フラッグシップモデルとコストパフォーマンスモデルの比較

モデルプロバイダーは一般的にフラッグシップモデルラインと低コストのラインを提供しています。 OpenAIとAnthropicはフラッグシップモデルの後に低価格モデルをリリースしたが、これらの新しいモデルは間接プロンプトインジェクションによるサイバー攻撃にはるかに脆弱だった。 一方、Qwen と DeepSeek では、より新しいコスト効率の高いモデルが、その前のフラッグシップモデルよりも攻撃に対して頑健でした。

コスト効率の高いモデルとフラッグシップモデルの間の感受性の格差は、オープンウェイトのプロバイダーよりもプロプライエタリなプロバイダーの方がはるかに大きいことも観察しました。

独自系プロバイダーではコスト効率重視モデルはフラッグシップモデルより169%攻撃に弱かった一方、オープンウェイト系プロバイダーではコスト効率重視モデルはフラッグシップモデルより5%攻撃に弱くなかった。

この分析でテストされたモデルは次のとおりです。

• 主力モデル: DeepSeek V4-Pro、Kimi K3、GLM-5.3、Qwen3.8-2.4T、Claude Fable 5.1、GPT-6 Astra、Gemini 3.1 Pro
• コストパフォーマンスに優れた: DeepSeek V4.1-Flash、Kimi K2.6、GLM-5.3-Flash、Qwen3.8-Flash-Next、Claude Haiku 5.5、GPT-6 Luna、Gemini 3.8 Flash の各モデル

注意:Moonshotは低価格帯のラインを提供していないため、以前のフラッグシップモデルで代用しました。また、オープンウェイトのプロバイダーが提供しているクローズドウェイトのモデルはテストしていません。

ベンチマーク

実環境における間接プロンプトインジェクションを通じたサイバー攻撃へのモデルの脆弱性の測定にご興味はありますか?ご利用中または開発中のモデルの評価をご希望の場合は、下記よりご連絡ください。