Claude Code나 OpenCode 같은 새로운 에이전트 하네스는 점수 향상을 내세워 홍보한다. 하지만 한 연구는 그 주장이 뒷받침되지 않는다고 밝혔다. 하네스를 바꿔도 동일한 설정을 두 번 실행하는 것과 비교해 결과가 거의 달라지지 않지만, 비용은 최대 3배까지 늘어날 수 있다.
코딩 에이전트는 언어 모델에 하네스, 즉 모델이 코드 저장소 내에서 작동하도록 만드는 시스템 프롬프트, 도구, 컨텍스트 관리를 결합한다. 새로운 하네스가 매일 출시되고 리더보드는 이들을 자유롭게 혼합하지만, 산둥대학교의 두 연구자는 모델을 고정했을 때 하네스가 실제로 얼마나 중요한지 측정했다. 논문의 제목이 답을 미리 보여준다: "하네스가 주는 것은 무엇인가? 대부분 토큰이다."
이전 비교들은 노이즈를 측정한 것이었다
이전 연구들은 하네스 간 20점 이상의 격차를 보고하지만, 저자들에 따르면 그 수치는 거의 항상 단일 실행에서 나온 것이다. 동일한 설정을 순수하게 다시 실행하는 것만으로도 SWE-bench Verified에서 최대 6점까지 변동한다. Zhipu AI는예를 들어 자체 하네스가 Claude Code보다 2.4점 앞선다고 광고하지만, 이 격차는 그 노이즈 범위 안에 속한다. 또한 하네스가 벤치마크와 다르게 연결되는 경우가 많아 비교의 신뢰성은 더욱 떨어진다.
Liu와 Han은 다섯 개 모델을 세 가지 하네스의 출시 버전으로 실행했다: Claude Code, OpenCode, mini-SWE-agent. mini-SWE-agent는 모델에게 Bash 도구만 제공하고 컨텍스트 관리를 생략한다. Claude Code와 OpenCode는 특화된 파일 및 검색 도구, 긴 시스템 프롬프트, 자동 기록 압축을 제공한다.
사용된 모델은 Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash그리고 HY4-Preview였다. Claude Opus 5는 참고용으로 Claude Code에서만 실행되었다. 테스트는 SWE-bench Verified의 가장 어려운 45개 작업과 추가 447개 작업 풀을 사용했다. 여러 설정이 노이즈를 측정하기 위해 두 번 실행되었다.
모든 실행은 오프라인에서 이루어졌다. 웹 접근이 가능했던 초기 테스트에서 Deepseek와 Qwen 모델 시도의 71 퍼센트가 작업을 스스로 풀지 않고 GitHub에서 정답 수정을 그대로 가져왔다. Claude 모델은 거의 이런 행동을 하지 않았다. 연구자들은 그 결과들을 폐기했으며 어떤 제조사도 테스트 데이터로 학습했다고 주장하지 않지만, 그 패턴이 충분히 뚜렷해 이후 모든 실행에서 웹 접근을 차단했다.
하네스를 바꾸는 것은 다시 실행하는 것만큼이나 결과를 움직인다
447개 작업의 더 큰 풀에서, 가장 무거운 하네스인 Claude Code와 가장 가벼운 하네스인 mini-SWE-agent는 테스트된 두 모델 모두에서 2점 미만 차이를 보인다. 5점 범위 내에서 이들은 통계적으로 동등하다.
연구자들은 가장 어려운 45개 작업에서 하네스 효과가 가장 클 것으로 예상했다. 그러나 실제로는 모델당 해결 작업 수가 하네스 간 2~5개 차이에 그쳤고, 동일한 설정을 단순히 다시 실행하는 것만으로도 그 수가 최대 3개까지 변동했다. 때로는 mini-SWE-agent가, 때로는 Claude Code가 앞선다.
뒤집기 비율도 같은 이야기를 한다. 두 번의 재실행 사이에서 중앙값 결과가 바뀌는 작업은 13 퍼센트였다. 서로 다른 두 하네스 사이에서도 역시 13 퍼센트였다. 모델을 바꾸면 그 비율이 22 퍼센트로 올라간다. 특정 하네스가 이기는 작업이 실행마다 달라지는데, 이는 동전 던지기와 일치한다. 저자들은 하네스 격차가 "동일한 노이즈의 새로운 추첨"처럼 작동한다고 썼다.
이런 작은 샘플은 비교가 탐지할 수 있는 범위도 제한합니다. 45개 과제로는 13점 차이도 절반 정도의 확률로만 나타납니다. 447개 과제에서는 약 5점 차이부터 신뢰할 수 있게 탐지됩니다. Zhipu가 주장한 2.4점 우위는 두 기준 모두에 미치지 못하며, 그 밖의 많은 광고된 개선점들도 마찬가지입니다.
모든 하네스가 동일하게 수행되며, OpenCode만 뒤처진다
측정 가능한 유일한 하네스 효과는 OpenCode의 꾸준한 열세입니다. 대규모 과제 풀에서 OpenCode는 다른 두 하네스보다 최대 9점까지 뒤처집니다. 이 격차의 약 절반은 출력 한도에서 비롯됩니다. 모델이 추론 중 한 단계 도중에 이 한도를 초과하면, Claude Code는 계속 진행하라는 프롬프트를 제공합니다. OpenCode는 그 단계를 그대로 끝내며, 시도는 대개 실패합니다.
OpenCode에 Claude Code 방식의 계속 진행 프롬프트를 추가해도 도움이 되지 않았는데, 같은 과제가 재시도에서 동일한 오버플로를 유발하는 경우가 드물기 때문입니다. 나머지 격차에 대해서 저자들은 설명이 없이 관찰만 제시합니다: OpenCode에서는 모델이 훨씬 일찍 작업을 멈춥니다. 로컬에서 실행된 모델의 경우 OpenCode는 Claude Code보다 시간 제한이 훨씬 타이트했으며, 저자들은 이를 통제되지 않은 변수로 지적합니다.
mini-SWE-agent는 컨텍스트 관리 기능이 없어 컨텍스트 윈도우에 부딪히는데, 주로 다른 하네스도 실패하는 과제에서 그렇습니다. OpenCode의 검색 도구는 처음 사용할 때 바이너리 파일을 다운로드하려다 오프라인 상태에서 오류가 납니다.
시스템 프롬프트와 도구 설명이 요금을 결정한다
같은 모델, 같은 과제, 같은 가격표에서도 단일 과제의 비용은 하네스에 따라 최대 3배까지 차이가 날 수 있습니다. 도구 출력은 이 격차를 거의 설명하지 못합니다. 세 하네스 모두 호출당 비슷한 양의 텍스트를 반환합니다.
진짜 차이는 시스템 프롬프트와 도구 설명에서 나옵니다. 이것들은 매 단계마다 다시 전송되며, Claude Code는 약 16,600 토큰, OpenCode는 약 7,000, mini-SWE-agent는 1,000 미만입니다. 연구자들의 역공학에 따르면 Claude Code는 모델의 추론 출력도 대화 기록에 유지합니다.
첫 호출 이후에는 모든 하네스에서 컨텍스트가 비슷한 속도로 증가합니다. 시스템 프롬프트 크기가 기본 비용을 정하고, 단계 수가 이를 곱합니다. 어느 요인이 지배적인지는 모델에 따라 다릅니다: GLM-5.3-Flash에서는 Claude Code가 mini-SWE-agent보다 거의 두 배 비용이 듭니다. Deepseek-V4-Flash에서는 mini-SWE-agent가 추가 단계를 너무 많이 필요로 해 두 하네스가 결국 비슷해집니다. 캐시된 토큰의 낮은 가격은 격차를 완화하지만 순위는 바꾸지 못합니다.
홈 필드 어드밴티지 없음, 추론에 관한 미해결 질문들
Deepseek의 자체 하네스는 자체 모델에서 다른 하네스보다 점수가 높지 않으면서 비용은 가장 많이 듭니다. Claude Opus 5는 연구자들이 Claude Code에서 도구를 제거한 후에도 동일한 결과를 냈습니다. 1년 전 버전은 절반 이하의 비용으로 비슷한 수의 과제를 해결했는데, 그 당시에는 Extended Thinking이 기본으로 켜져 있지 않았기 때문입니다.
추론은 하네스 선택이 실제로 결과를 바꾼 유일한 사례였습니다. 추론 없이는 Qwen3.6을 사용한 mini-SWE-agent가 11점 하락한 반면, Claude Code와 OpenCode는 노이즈 범위 내에 머물렀습니다. HY4-Preview도 추론 없이 Claude Code에서 11점을 잃었습니다. 에이전트가 추론에 얼마나 의존하는지는 특정 모델-하네스 조합에 달려 있는 듯합니다. 저자들은 그 이유를 설명하기에는 테스트 그리드가 너무 작다고 인정합니다.
이 연구는 주로 하나의 벤치마크에 의존합니다. Terminal-Bench 2.1에 대한 소규모 교차 검증에서도 같은 패턴이 나타났습니다. 클로즈드 소스 최상위 모델인 Opus 5는 Claude Code에서만 실행되었습니다. 하네스는 " 과제를 잃을 경로를 줄여주고, 청구서를 사주는 것이지 통과율을 사주는 것이 아니다"라고 저자들은 결론지었습니다. 그들은 모든 하네스 비교와 함께 동일한 설정의 재실행 결과를 게시할 것을 권장합니다. 측정된 차이의 어느 정도가 단지 노이즈인지 알 수 있는 유일한 방법입니다. 데이터와 분석 스크립트는 다음에서 이용할 수 있습니다 GitHub.
다른 연구들에서도 하네스에 더 많은 노력을 들이는 것이 드물게 효과를 냅니다. 한 연구에서는 AI 코딩 에이전트를 위한 복잡한 스킬 시스템보다 단순한 Markdown 파일 이 더 좋은 성과를 냈습니다. 이전 연구에서는 이미 프레임워크 선택 만으로도 같은 모델의 비용이 거의 3배가 될 수 있음을 보였습니다. 그 결과 하네스 설계는 많은 주목을 받습니다. Nvidia는 최근 더 나은 에이전트 스티어링을 통해 코딩 에이전트의 토큰 비용을 거의 절반으로 줄였습니다.