Artificial Analysis Cyber Index에서 Kimi K3.1 Pro는 에이전틱 사이버 방어 분야의 새로운 1위 공개 이용 가능 모델로, 신뢰 접근(trusted-access) 모델인 GPT-6 Sol (Daybreak Blue)에만 뒤집니다
@Kimi_Moonshot의 Kimi K3.1 Pro는 Artificial Analysis Cyber Index에서 64%를 기록했으며, 이는 기존 선두 공개 이용 가능 모델인 DeepSeek V4.1 Flash 1017(57%)보다 7점 앞서고, OpenAI의 신뢰 접근 프로그램을 통해서만 이용 가능한 GPT-6 Sol (Daybreak Blue, max, 69%)보다 5점 뒤진 수치입니다. K3.1 Pro의 가중치가 공개되면 K3.1 Pro는 사이버 방어 분야의 선도적인 오픈 웨이트(open weights) 모델이 될 것입니다.
Artificial Analysis Cyber Index는 에이전틱 사이버 방어 작업 능력을 측정하며 CWE-Bench-AA, DeepsecBench-AA, CyberGym-E2E-AA의 세 가지 벤치마크로 구성됩니다. 이 지수는 주로 공개적으로 접근 가능한 API를 통해 모델을 평가하며, 개발자에게 제공되는 사이버 능력을 반영합니다.
OpenAI, Anthropic, Google의 독점 모델은 더 강한 사이버 능력을 가질 수 있지만 안전상 거부(safety refusal)로 점수를 잃습니다. OpenAI의 신뢰 접근 프로그램을 통해 이용 가능한 GPT-6 Sol (Daybreak Blue, max)은 자사 공개 대응 모델보다 32점 높은 점수를 기록합니다. Kimi K3.1 Pro는 안전상 거부를 겪지 않습니다.
주요 결과:
➤ 공개 이용 가능 모델 1위, 전체 2위: Kimi K3.1 Pro는 64%를 기록했으며, Kimi K3(41%) 대비 23점 상승했고 DeepSeek V4.1 Flash 1017(57%)을 앞섭니다. 신뢰 접근 모델인 GPT-6 Sol (Daybreak Blue, max, 69%)만이 더 높은 점수를 기록했습니다
➤ 모든 모델 중 최고의 CyberGym-E2E-AA 점수: K3.1 Pro는 CyberGym-E2E-AA에서 95%를 기록하여 GPT-6 Sol (Daybreak Blue, 93%)와 다음 순위의 공개 이용 가능 모델인 Mistral Large 4(82%)를 앞섰습니다. DeepsecBench-AA에서 K3.1 Pro는 37%를 기록하여 GPT-6 Sol (Daybreak Blue, 48%)와 GPT-6 Sol(46%)에 뒤졌습니다. CWE-Bench-AA에서는 61%를 기록하여 GPT-6 Sol (Daybreak Blue, 65%)보다 4점 뒤졌으며, DeepSeek V4.1 Flash 1017이 69%로 선두입니다
➤ 토큰 가격 하락에도 불구하고 작업당 비용(Cost per Task)은 15% 증가: K3.1 Pro의 작업당 비용은 $2.81로, GPT-6 Sol (Daybreak Blue, max, $1.77)과 DeepSeek V4.1 Flash 1017($0.42)보다 높습니다. Kimi K3.1 Pro는 Kimi K3(1M 입력/출력 토큰당 $2/$10 vs. $3/$15)보다 토큰당 33% 저렴하지만, 약 2배 더 많은 입력 토큰을 사용하여 작업당 비용이 15% 더 높습니다($2.81 vs. $2.45)