Jay 발신, 凹非寺
양자위(量子位) | 공중계정 QbitAI
구글의 RSI 신성과가 오픈소스로 공개되었다.
이름은Harness²로, 대형 모델이 실행 중에 스스로에게 외부 코드, 시스템 프롬프트, 도구 체인 및 스킬 라이브러리를 개조해 탑재하도록 한다.
그렇다, Harness 층의 RSI이다.
효과도 상당히 강력하다.
이 RSI 전문 GLM-5를 장착하자, 오피스 벤치마크 WorkBuddy-Bench에서11.5점——
이나 급상승하며 순식간에 원조 Gemini 3.5 Flash를 역전했다.
요컨대 매우 말도 안 되는 외부 플러그인으로, 어떤 모델이든 이것을 씌우면 벤치마크 점수가 바로 치솟는다.
현재 이 프로젝트는 전면 오픈소스로 공개되었으며, OpenCode와 Codex를 지원한다.
왜 “자기 자신을 개조하기”는 자주 실패하는가
과거 업계에서는 Agent를 똑똑하게 만들기 위해 재귀적 자기 개선(Recursive Self-Improvement, 약칭 RSI)을 여러 차례 시도했다.
아이디어는 듣기에 아름답다: AI가 스스로 코드를 작성하고, 스스로 프롬프트를 수정하고, 스스로 시스템을 최적화하게 하는 것이다. 그러나 실제 개방된 세계에 놓이는 순간 거의 전멸했다.
왜일까?
주로 두 가지 치명적 약점에 막혔기 때문이다:
정답이 없다는 점.
실험실에서 문제를 풀 때는 단위 테스트가 있고, Ground Truth가 옳은지를 알려준다. 그러나 실제 일하는 상황에서 비즈니스 기획서를 작성하거나 법률 계약서를 검토할 때는 온라인에서 채점해주는 사람이 없다.
AI가 스스로 Prompt를 수정한 버전에서, 수정 후 더 똑똑해졌는지 아니면 엉터리를 지어냈는지 어떻게 알 수 있는가?
단일 작업에 과적합된다는 점.
어떤 작업을 고치기 위해 간신히 스캐폴드를 대대적으로 개조했는데, 다음 작업이 크롤러 작성으로 바뀌면 이전에 수정한 규칙이 모두 짐이 되어버린다.
개조한 스캐폴드를 그대로 다음 작업에 억지로 적용하면, 시스템은 곧 잡음 나선에 빠져 개조할수록 더 멍청해진다.
이번에 구글 팀이 제안한 Harness²는 바로 이 두 가지 치명적 약점을 겨냥한 것이다.
그들은 일련의2층 재귀 아키텍처。
2층 재귀: 왼손은 실험하고, 오른손은 노트를 기록한다
Harness²라는 이름의 “제곱”이 가리키는 것은 바로 서로 중첩된 두 층의 재귀 루프이다:과제 수준 재귀(Task-level)과개선 수준 재귀(Harnessing-level).
첫 번째 층은,과제 수준 재귀: 정답이 없는 상황에서 대조 실험을 수행한다.
눈앞의 이 새로운 과제에 대해, 시스템은 먼저 초기 스캐폴딩으로 참조 궤적 한 버전을 실행해 낸다. 이 버전의 결과가 맞는지는 일단 두고, 핵심은 모델이 실행 과정에서 어떤 결함을 드러내는지 보는 것이다.
이어서, 시스템은Propose–Probe–Compose(제안-탐색-합성) 이라 불리는 메커니즘을 가동한다:
Propose(제안)：
단계에서는 전문 편집 역할이 방금의 궤적에 대해 두 가지 수정 방안을 제시한다.
한 세트는 '범용 결함 수정'(Invariant)으로, 계획의 혼란, 도구 호출 무한 루프, 컨텍스트 폭증 같은 여러 도메인에 걸친 범용적인 문제를 잡아내는 데 특화되어 있으며,
다른 한 세트는 '도메인 전용 수정'(Domain)으로, 현재 비즈니스의 특정 지식과 제약 조건을 대상으로 합니다.
Probe(탐색)：
수정된 이 두 세트의 후보 스캐폴드를 동일한 작업에 넣고 각각 한 번씩 실행합니다.
심판이 없어도 괜찮습니다. 시스템이 이들의 실행 궤적과 참조 궤적을 가져와 행동 비교(Behavioral Contrast)를 수행합니다. 변경 사항이 방금 막힌 단계를 실제로 해결했는지, 새로운 논리적 퇴보를 일으키지 않았는지 확인합니다.
Compose(합성)：
합성기는 모든 실행 증거를 한자리에 모아, 행동 증거로 실제 효과가 입증된 변경 사항만 골라 최종 실행 스캐폴드에 병합합니다.
이것으로 끝이 아닙니다. 또한 병렬 확장(Parallel Recursion)을 지원하여, $k$개의 후보 방안을 한꺼번에 펼쳐 동시에 탐색하고, 더 넓은 탐색 공간에서 우수한 것을 골라 합성할 수 있습니다.
놀랍군요.
두 번째 층은개선 수준의 재귀: 스캐폴드를 개선한 경험을 메타 능력으로 축적합니다.
현재 작업이 끝나고 산출물이 전달되면, 많은 시스템의 수명 주기는 여기서 끝이 납니다.
그러나 Harness² 의 진짜 강점은 뒤에 있습니다—
전체 디버깅 기록(참조 궤적, 후보 수정 사항, 비교 증거, 합성 결정)을 반성 모듈(Experience Reflector)에 넘깁니다.
반성 모듈은 복기를 마친 후, 이번에 왜 이렇게 수정했는지, 어떤 조건에서 효과가 있었는지, 어떤 결과를 가져왔는지를 명확하게 정리한 EXPERIENCE.md를 작성하여지속 개선 경험 라이브러리(Harness Improvement Library)에 저장합니다.
다음 새로운 작업이 들어올 때:
실행 측이 받는 것은 여전히 깨끗하게 초기화된 기본 스캐폴드입니다.
그러나 스캐폴드를 수정하는 담당 '개선 두뇌'의 손에는 이미 두꺼운 역사적 경험 매뉴얼이 쥐어져 있습니다. 제안 및 합성 단계에서 과거의 유사한 시나리오에서 효과적이었던 컴포넌트와 함정 회피 가이드를 직접 검색할 수 있습니다.
개선되는 것은 당면한 스캐폴드뿐만 아니라, 미래에 스캐폴드를 개선하는 능력 그 자체입니다.
이로써 단일 작업의 임시 수리가 평생 학습의 인지 자산으로 변모합니다.
벤치마크 실측
메커니즘을 아무리 아름답게 설명해도, 결국 실전 데이터로 말해야 합니다.
팀은 바로 세 가지 무게감 있는 하드코어 전문 직업 벤치마크를 사용했습니다:
WorkBuddy-Bench: 코드(Code), 웹(Web), 오피스 스위트(Office)의 세 가지 고난도 사무 워크플로를 다룹니다;
JobBench: 장기적인 엔드투엔드 복잡 전문 직무 태스크;
LAB: Harvey가 오픈소스로 공개한 최상위 법률 에이전트 벤치마크.
기반 모델로 선택한 것은Gemini 3.5 Flash그리고GLM-5, 실행 스캐폴드는 오픈소스 주류인OpenCode와Codex。
를 골랐는데 결과가 매우 극적이었다.
WorkBuddy-Bench 테스트에서 단 한 번의 Harness² 개선($k=1$)만으로:
GLM-5는 OpenCode에서 종합 점수가 64.2에서 75.7로 치솟아 무려 11.5점이 급등했고; Codex에서도 64.4에서 75.3으로 급상승했다.
Gemini 3.5 Flash는 OpenCode에서 72.4에서 77.5로, Codex에서 74.5에서 77.5로 향상되었다.
이 데이터를 보라:
스캐폴드가 최적화된 GLM-5(75.7점 / 75.3점)는스캐폴드를 수정하지 않은 원판 Gemini 3.5 Flash(72.4점 / 74.5점)를 완전히 압도했다。
엔드투엔드 직무 태스크인 JobBench에서도 한 단계의 개선이 전반적인 향상을 가져왔으며, Gemini 3.5 Flash는 상승했다4.5점, GLM-5가 상승했다3.6점; 법률 벤치마크 LAB에서는 GLM-5의 통과율이 크게 상승했습니다11.8 퍼센트포인트。
병렬 예산을 $k=5$(동시 5경로 후보)까지 끌어올리면 성능이 더욱 상승합니다: WorkBuddy-Bench에서 최대 추가 상승3.9점, JobBench 다시 상승4.2점, LAB 통과율이 다시 상승했다6.7퍼센트포인트。
더 절묘한 것은 경험 라이브러리의 교차 분야 전이 테스트입니다.
팀은 JobBench에서 작업을 실행하며 축적한 경험 라이브러리를 그대로 가져와 WorkBench-Bench에 적용했고, 별도의 추가 탐색을 전혀 하지 않은 상태에서도 코드 +0.6, 웹 +0.5, 오피스 +2.9의 무통증 점수 상승을 바로 얻었습니다.
지난 2년 동안 사람들의 AI에 대한 기대는 거의 모두 "베이스 모델 스케일링"에 걸려 있었고, 다음 세대 GPT, 다음 세대 Gemini가 나오기만 기다리면 손에 쥔 애플리케이션 문제는 저절로 풀릴 거라 여겼습니다.
하지만 현실은 모든 종사자들에게 찬물을 끼얹었습니다: 기반 모델은 점점 더 비싸지고, 한계 효익은 둔화되고 있으며, 실제 적용 현장의 롱테일 버그는 여전히 끝없이 이어지고 있습니다.
아무리 큰 컨텍스트 윈도우를 모델에 제공해도, 파일 간 대조 작업을 처리할 때 여전히 게으름을 피웁니다; 아무리 높은 벤치마크 점수를 주어도, 보고서를 작성한 뒤에도 여전히 스스로 파일을 열어 형식을 검증하지는 않습니다.
이런 것들은 사전 학습된 파라미터로는 결코 채워줄 수 없다.
它需要的是一套能在运行中自我感知、自我修补、持续进化的Runtime认知工程。
예전에 우리가 스캐폴딩을 구축할 때는 엔지니어가 컴퓨터 앞에 앉아 Prompt를 한 줄 한 줄 직접 작성하고, 도구를 설정하고, 파이프라인을 수정해야 했는데, 죽을 만큼 힘들어도 구멍이 곳곳에 생기곤 했습니다.
现在Harness² 证明了一条新路：
把规则制定的权力，还给Agent自己。
论文作者
最后，照例来说说论文作者。
一共9位，而且华人浓度极高，高达78%。。。
由于文章篇幅有限，这里就按顺序介绍三位。
Ruiyao Xu，论文一作兼通讯作者。
美国西北大学统计与数据科学系博士生，导师为Kaize Ding。
주요 연구 분야는 대규모 언어 모델, 그래프 머신러닝, 이상 탐지 및 AI Agent 시스템입니다.
这篇论文，便是他在谷歌实习期间的工作。
Yanfei Chen, Google Cloud AI Research 시니어 리서치 엔지니어입니다.
베이징대학교에서 전기공학과 경제학을 전공하고 학부를 졸업했으며, 2018년 미국 피츠버그대학교에서 산업공학 박사 학위를 받았습니다.
이후 머신러닝 기업 Qeexo에서 리서치 엔지니어로 근무했고, 2020년 Google에 합류하여 Vertex AI Search, Gemini Enterprise Deep Research 등 프로젝트에 참여했으며, 주로 대규모 언어 모델 에이전트, 검색 증강 생성 및 도구 학습을 연구합니다.
Zhongying CuiZhu, Zoey CuiZhu로도 알려져 있으며, Google Cloud AI Research 리서치 엔지니어입니다.
2019년 스탠퍼드대학교에서 전기공학 박사 학위를 받았으며, 주로 범용 에이전트, 검증 가능한 에이전트 및 에이전트 품질 평가를 연구합니다.
참고 링크:
[1] https://arxiv.org/html/2610.14224v1