DeepSeek Search가 Artificial Analysis Search Index에 69점으로 데뷔했으며, 27개 검색 제품 중 17위, 게시된 유료 Search API 중 최저 가격입니다
@deepseek_ai는 10월 17일 Search API를 출시했습니다. 우리는 Stirrup 에이전트 하네스에서 이를 벤치마크했으며, 여기서 GPT-5.6 Luna (medium)는 web_search 도구로 DeepSeek Search를 호출하여 BrowseComp, DeepSearchQA 및 AA-Omniscience의 태스크들을 조합해 수행합니다.
1k 검색당 $0.75로, DeepSeek Search는 우리가 벤치마크한 어떤 유료 Search API보다도 검색당 비용이 낮으며, $1인 Octen, Parallel (turbo), Parallel (fast)보다도 쌉니다. 태스크당 약 $0.032로, 27개 제품 중 5번째로 저렴하며, 다른 25개 Search API 중 20개(중앙값 $0.066)보다 저렴하고 Nimble (lite)과 동등합니다. TinyFish, Octen, Parallel (turbo), Parallel (fast)이 더 저렴합니다.
DeepSeek Search의 주요 벤치마크 결과:
➤ Artificial Analysis Search Index: DeepSeek Search는 69점으로, 검색 없이 동일 모델(33점) 대비 36점 향상되었습니다. 71점의 TinyFish와 68점의 Linkup (standard) 사이에 위치합니다
➤ AA-Omniscience는 DeepSeek Search의 가장 강한 벤치마크입니다: 자사 독점 factual answer 벤치마크에서 70% 정확도를 기록했습니다. 이는 27개 중 10위로, 공동 선두인 Exa (auto, dynamic highlights)와 Firecrawl(73%)보다 3점 뒤집니다. 여러 검색에 걸친 multi-hop 추론이 필요한 BrowseComp는 가장 약한 벤치마크입니다: 63%로 27개 중 25위를 기록하며, Perplexity 변형들과 Octen(85%~87%)에 크게 뒤처집니다
➤ 대용량 검색 결과: 각 검색은 약 7k 토큰을 반환하며, 게시판 범위의 상위권에 근접합니다. 각 결과는 페이지의 약 1.8k자 분량의 구절을 포함합니다. 이는 모델 비용을 높입니다: 태스크당 약 $0.023로, DeepSeek의 모델 비용은 게시판에서 2번째로 높으며, $0.039인 Linkup (flash, alpha)에 이어집니다
➤ 128자 쿼리 제한: DeepSeek는 128자를 초과하는 쿼리를 거부합니다. 에이전트의 검색 중 6%가 이 제한에 도달했으며, 이 중 87%의 경우 모델의 첫 번째 더 짧은 재작성이 성공했습니다
주요 세부 사항:
➤ 설정: Stirrup의 GPT-5.6 Luna (medium), need_content=false(페이지 구절, 전체 페이지 콘텐츠 없음) 및 검색당 10개 결과로 DeepSeek Search API 사용
➤ 가격: 성공적인 검색 1k당 $0.75. DeepSeek는 빈 결과에 대해 청구하지 않습니다
➤ 요청 한도: 계정당 초당 5회 검색