DeepSeek SearchがArtificial Analysis Search Indexに69でデビュー、27検索製品中17位、掲載中の有料Search APIで最安値
@deepseek_aiは10月17日にSearch APIを公開しました。弊社のStirrupエージェントハーネスでベンチマークを実施しました。これはGPT-5.6 Luna (medium)がDeepSeek Searchをweb_searchツールとして呼び出し、BrowseComp、DeepSearchQA、AA-Omniscienceのタスクを組み合わせて完了させるものです。
1k検索あたり$0.75で、DeepSeek Searchは弊社がベンチマークしたどの有料Search APIよりも検索あたりのコストが低く、$1のOcten、Parallel (turbo)、Parallel (fast)を下回ります。タスクあたり約$0.032で、27製品中5番目に安く、他の25のSearch APIのうち20より安く(中央値$0.066)、Nimble (lite)と同水準です。それより安いのはTinyFish、Octen、Parallel (turbo)、Parallel (fast)です。
DeepSeek Searchの主要ベンチマーク結果:
➤ Artificial Analysis Search Index: DeepSeek Searchは69を獲得、検索なしの同じモデル(33)から36ポイント向上。TinyFishの71とLinkup (standard)の68の間に位置します
➤ AA-OmniscienceはDeepSeek Searchの最も得意なベンチマークです: 弊社独自の事実回答ベンチマークで70%の正解率を達成。これは27中10位で、首位に並ぶExa (auto, dynamic highlights)とFirecrawl(73%)に3ポイント差です。複数の検索にわたるマルチホップ推論を必要とするBrowseCompは最も苦手なベンチマークで、63%で27中25位、Perplexity系やOcten(85%〜87%)を大きく下回ります
➤ 大容量の検索結果: 各検索は約7kトークンを返し、掲載製品の中で上位水準の範囲です。各結果にはページからの約1.8k文字のパッセージが含まれます。これによりモデルコストが上昇します: タスクあたり約$0.023で、DeepSeekのモデルコストは掲載中で2番目に高く、$0.039のLinkup (flash, alpha)に次ぎます
➤ 128文字のクエリ制限: DeepSeekは128文字を超えるクエリを拒否します。エージェントの検索の6%がこの制限に達し、そのうち87%ではモデルによる最初の短い書き直しが成功しました
主要な詳細:
➤ セットアップ: Stirrup上のGPT-5.6 Luna (medium)、need_content=false(ページのパッセージ、全文ページコンテンツなし)のDeepSeek Search API、検索あたり10件の結果
➤ 価格: 成功した1k検索あたり$0.75。DeepSeekは空の結果に対しては課金しません
➤ レート制限: アカウントあたり毎秒5検索