Artificial Analysis에서 FrontierCode 발표: AI 모델이 메인테이너가 병합할 코드를 작성할 수 있을까?

모든 기사

Artificial Analysis에서 FrontierCode 발표: AI 모델이 메인테이너가 병합할 코드를 작성할 수 있을까?

Cognition의 FrontierCode 1.1은 AI 모델이 실제 오픈 소스 저장소의 메인테이너가 병합할 코드 변경을 만들어내는지를 테스트합니다. 최고 성능 모델들도 여전히 40% 이상의 비율로 실패합니다.

개요

FrontierCode는 Cognition이 오픈 소스 저장소 메인테이너들과 함께 만든 코딩 벤치마크입니다. 각 작업은 에이전트에게 실제 오픈 소스 저장소에 변경을 가하도록 요구하며, 벤치마크는 해당 저장소의 메인테이너가 병합할 만큼 충분히 좋은 변경인지를 측정합니다.

FrontierCode는 테스트 통과 여부 이상을 평가합니다. 다른 코딩 평가와 달리, 모델은 과도한 변경과 큰 diff, 관련 범위를 벗어난 파일 수정, 도움이 되지 않는 테스트 추가와 같은 행동에 대해서도 평가됩니다. 우리는 이 접근 방식이 현재 상황에서 가치가 있다고 생각합니다: 모델들은 이제 코딩 작업에서 매우 유능하지만, 그 변경 사항은 여전히 메인테이너가 병합하기 전에 상당한 정리 작업을 필요로 할 수 있습니다.

우리는 공정한 비교를 위해 동일한 에이전트 하네스에서 모든 모델로 벤치마크의 150개 작업 중 기본 100개 작업 세트인 FrontierCode 1.1 Main을 실행합니다. 오염을 피하기 위해 작업은 비공개입니다.

최고 성능 모델들도 여전히 40% 이상의 비율로 실패합니다. Claude Opus 5.5 (fallback 포함 max)가 평균 점수 52%와 통과율 58%로 선두입니다. 통과율은 모든 차단 기준을 충족한 시도의 비율이며, 점수는 바람직한 비차단 기준도 반영합니다.

FrontierCode 1.1은 독립적인 리더보드로 출시되며 Artificial Analysis Intelligence Index의 일부가 아닙니다. 우리는 이를 곧 우리의 Coding Agents 리더보드 에 추가할 계획입니다.

FrontierCode 1.1: 점수

FrontierCode의 작동 방식

벤치마크 개요

Cognition은 36개 오픈 소스 저장소의 메인테이너들과 함께 FrontierCode를 만들었으며, 이들은 각 작업에 40시간 이상을 투자했습니다. Cognition은 2026년 6월에 FrontierCode를 발표하고 2026년 7월에 공정한 인터넷 사용 규칙을 추가한 버전 1.1을 출시했습니다.

FrontierCode 검증기는 결정론적 테스트와 정성적 검토로 각 시도를 채점합니다: 숨겨진 테스트와 명령 검사, 변경이 건드리는 파일과 코드량에 대한 제한, 그리고 메인테이너의 기준에 따른 LLM 검토가 그것입니다. 각 검사는 차단 또는 비차단 중 하나입니다. 차단 검사 중 하나라도 실패한 시도는 0점을 받고, 모두 통과한 시도는 70%에서 100% 사이의 점수를 받습니다.

방법론

• 작업 세트: 우리는 FrontierCode 1.1 Main의 100개 작업을 작업당 세 번의 시도로 평가합니다.
• 에이전트 하네스: 모든 모델은 시도당 250턴으로 제한된 우리의 오픈 소스 에이전트 하네스인 Stirrup, 저희 오픈 소스 에이전트 하네스로, 시도당 250턴으로 제한됩니다.
• 채점: LLM 심판이 루브릭의 리뷰 기준을 평가합니다. 우리는 GPT-6 Luna (medium)를 심판으로 사용합니다.
• 정답 조회: Cognition의 궤적 스캐너가 공정한 인터넷 사용 규칙에 따라 플래그한 시도는 0점을 받습니다.
• 스코어링: 각 태스크의 세 번의 시도를 평균한 뒤, 태스크 점수를 동일한 가중치로 평균합니다.

전체 세부 사항은 methodology page(방법론 페이지)에서 확인할 수 있습니다.

주요 발견 사항

• 선두 모델들도 여전히 40% 이상의 실패율을 보입니다: Claude Opus 5.5 (max with fallback)가 시도의 58%에서 모든 차단 검사를 통과하며 52%로 선두를 달리고 있으며, GPT-6.1 Sol (max)와 Claude Fable 5.1 (max with fallback)이 각각 49%로 그 뒤를 잇습니다
• 리더보드 상위권은 매우 근소한 차이로 밀집해 있습니다: 6개 연구소의 9개 모델이 43%에서 52% 사이의 점수를 기록합니다. MiMo-V2.6-Pro는 45%로 오픈 웨이트 모델 중 선두이며, DeepSeek V4.1 Flash (max)와 Kimi K3 (max)가 각각 44%로 그 뒤를 잇습니다
• GPT-6.1 Sol (max)는 비용 대비 가장 강력한 성능을 제공합니다: 태스크당 $0.81로 49%를 기록하며, 선두 Anthropic 모델들보다 태스크당 비용이 10분의 1 미만인 가운데 Claude Fable 5.1 (max with fallback)과 동등한 성능을 보입니다
• 100개 태스크 중 9개는 어떤 모델도 어떤 시도에서도 통과하지 못했으며, 모든 모델이 모든 시도에서 통과한 태스크는 없습니다

통과율

우리는 모든 작업을 세 번 실행합니다. 모든 차단 검사를 충족하면 해당 시도가 통과됩니다. 통과율은 Claude Opus 5.5(폴백 포함 최대 설정)의 시도 중 58%부터 Muse Glimmer(high)의 16%까지 분포합니다.

FrontierCode 1.1: 통과율

비용

작업당 비용은 GPT-6 Luna(max)의 $0.09에서 Claude Fable 5.1(max with fallback)의 $12.00까지 100배 이상 차이가 납니다. 점수 대비 비용의 파레토 경계 위에는 네 개의 모델이 있습니다: GPT-6 Luna(max)는 42%에 작업당 $0.09, MiMo-V2.6-Pro는 45%에 $0.18, GPT-6.1 Sol(max)은 49%에 $0.81, 그리고 Claude Opus 5.5(max with fallback)는 52%에 $10.15입니다. 경계의 마지막 단계, 즉 GPT-6.1 Sol(max)에서 Claude Opus 5.5(max with fallback)로 가는 단계는 작업당 12배 이상의 비용을 들여 3점을 추가합니다.

GPT-6.1 Sol (max)는 GPT-6 Astra (max)보다 2점 높은 점수를 기록하면서 태스크당 비용은 약 5분의 1 수준으로, $0.81 대 $4.22입니다. Claude Sonnet 5.5 (max with fallback)는 Claude Opus 5.5 (max with fallback)보다 태스크당 출력 토큰을 약 50% 더 사용하지만, 토큰당 가격이 절반이라 비용은 더 적게 듭니다. $8.26 대 $10.15입니다.

FrontierCode 1.1: 과제당 점수 대비 비용

평가에서 과제당 평균 비용. 비용은 표준 토큰 수가 제공되는 경우 입력, 캐시 히트, 캐시 쓰기, 추론, 답변 토큰 가격으로 구분됩니다.

토큰 사용량과 시간

GPT-6 모델들이 토큰 효율성에서 앞서 있습니다: GPT-6 Astra(max)와 GPT-6.1 Sol(max)는 작업당 각각 약 27k, 약 33k의 출력 토큰을 사용하는 반면, Claude Opus 5.5(max with fallback)는 약 157k, 그리고 Claude Sonnet 5.5(max with fallback)는 모든 모델 중 가장 많은 약 236k를 사용합니다. 작업당 소요 시간은 토큰 사용량과 실시간 출력 속도에 모두 좌우되며, Inkling(xhigh)의 약 3분부터 Qwen3.8 Max(0902)의 약 46분까지 다양합니다.

FrontierCode 1.1: 태스크당 출력 토큰

이번 평가에서 벤치마크 작업당 생성된 답변 및 추론 토큰의 평균 수입니다.

FrontierCode 1.1 리소스

FrontierCode를 개발하고 이를 Artificial Analysis에 함께 선보이기 위해 협력해 주신 Cognition 팀께 감사드립니다.

• 리더보드는 그 FrontierCode 1.1 평가 페이지
• 그 방법론 페이지 구현, 채점 및 점수 산정을 다룹니다
• Cognition의 FrontierCode 소개 그리고 FrontierCode 1.1 게시물들은 벤치마크와 그 설계를 더 자세히 설명합니다
• 우리의 오픈 소스 등자 저희가 FrontierCode에 사용하는 에이전트 하네스는 GitHub에 공개되어 있습니다

최신 소식 읽기

Artificial Analysis Cyber Index에 trusted-access 모델 도입

GPT-6 Sol (Daybreak Blue)이 현재 Cyber Index 1위를 차지했습니다

2026년 10월 8일

Anthropic이 Claude Haiku 5.5를 출시했습니다

Claude Haiku 5.5는 Artificial Analysis Intelligence Index에서 43점을 기록했으며, 이전 Haiku 출시 1년 만에 26점 상승했습니다

2026년 10월 7일