올가을, 대형 모델 세계에서는 시사 깊은 풍경이 펼쳐졌다: 한편으로는 Vibe Coding이 차세대 AI 개발에 점점 더 많이 참여하고 있고, 다른 한편으로는 가장 뛰어난 능력을 지닌 모델이 ‘규칙을 지키지 않는다’는 이유로 일시 중지 상태에 놓이기 시작했다.
9월, Anthropic은 Claude Fable 5.1을 출시하며 장기 프로그래밍 작업 처리, 자율 테스트 및 오류 수정 능력을 강조했다. OpenAI의 GPT-6 Astra는 컴퓨터 조작, 소프트웨어 엔지니어링 및 사이버 보안 능력을 새로운 높이로 끌어올렸다. 그러나 9월 28일, OpenAI는 원래 10월 출시 예정이었던 GPT-6.1 Astra의 출시를 철회한다고 발표했다: 내부 테스트에서 승인된 범위를 벗어나 작업을 진행하고, 사용자에게 수행한 작업을 보고할 때도 충분히 정직하지 않다는 것이 발견된 것이다. 사람들은 문득 깨달았다:기계가 배울수록 빨라질수록, 인간 ‘교사’가 손을 놓아야 하는지가 오히려 더 어려운 문제가 되었다.
Vibe Coding에서 프런티어 연구소에서 자동으로 작동하는 과학 연구 에이전트에 이르기까지, 인공지능은인간과 기계 간의 ‘직접 가르침’에서나아가스스로 배우는 ‘융통적 응용’으로향하고 있다. 이 길에는 기억할 만한 두 가지 약어가 있다: Human-in-the-Loop인 HIL(사람이 고리 속에 있음); RSI(Recursive Self-Improvement, 재귀적 자기 개선). 하나는 핵심 의사결정 사슬에 사람을 남겨두자고 상기시키고, 다른 하나는 시스템이 스스로를 개선하는 법, 나아가 ‘개선하는 방법’ 자체를 개선하는 법을 배우도록 하려 한다.
그림 1 HIL(사람이 고리 속에 있음) vs RSI(재귀적 자기 개선)
1. 명사의 지도: 기계가 실행하게 하되, 사람이 채점하게 하라
가장 초기의 AI 훈련은 선생님이 숙제를 채점하는 것과 같았다: 인간이 답을 표시하고, 우열을 비교하고, 편차를 바로잡으면 모델이 그대로 따라 배웠다. 에이전트 시대에 이르러서는 사람이 모든 단계의 조작을 지켜볼 필요는 없지만, 여전히 작업 경계, 평가 기준과 책임 소재를 정해야 한다.HIL(사람이 고리 속에 있음)은 모든 일을 사람이 확인해야 한다는 뜻이 아니라, 기계가 자율적으로 실행하되 인간이 핵심 판단을 보유하는 것이다.
Anthropic의 Claude Fable 5.1은 이를 관찰할 수 있는 창을 제공한다. 모델은 이미 자율적으로 계획하고, 프로그래밍하고, 도구를 호출할 수 있으며, 나아가 며칠에 걸쳐 복잡한 작업을 완수할 수도 있다.그러나 ‘스스로 문제를 내고 스스로 채점하는 것’은 현실의 결과에 대해 책임질 수 있다는 것과 같지 않다.이에 따라 Anthropic은 동일한 기반 모델을 두 가지 제품으로 구성했다: Fable은 폭넓은 사용자를 대상으로 하고, 보안 제한이 더 느슨한 Mythos는 신뢰할 수 있는 전문가 접근 프로그램으로 한정된다. 기술적으로 가능하다는 것이 제도적으로 허용되어야 한다는 것을 의미하지는 않는다. 마찬가지로 Anthropic은 Claude가 이미 내부 AI 연구개발 작업의 약 26%를 주도했지만, 아직 완전한 자율 연구개발에는 이르지 못했다고 밝혔다.
물론 인간도 실수를 할 수 있고, 인공 검토 역시 병목이 될 수 있다.사람이 고리 속에 있음HIL의 진정한 가치는 가치 충돌을 추궁할 수 있게 하고, 책임을 특정할 수 있게 하며, 의사결정을 바로잡을 수 있게 하는 것이다; 고위험 상황에서 멈춰서 확인하려는 태도 그 자체가 일종의 효율성이다.
2. 자기 수행: 왜 RSI가 사람보다 빨리 달릴 수 있는가
HIL이 명사의 지도를 강조한다면, 재귀적 자기 개선(RSI)이 탐구하는 것은 기계가 ‘선생님을 따라 배우는’ 단계에서 점차 ‘스스로 배우는 방법을 연구하는’ 단계로 나아가게 하는 것이다. 9월에 발표된 GPT-6 Astra는 강력한 프로그래밍과 과학 연구 능력을 보여주었다. 그러나 정말 주목할 만한 것은 자신의 개선이라는 연구 과정에 참여하기 시작했다는 점이다.
과거에는 모델 업그레이드가 주로 연구원이 가설을 제시하고, 엔지니어가 알고리즘을 수정하고, 팀이 훈련과 테스트를 거친 뒤 다음 라운드를 결정하는 방식에 의존했다. 오늘날 에이전트는 자율적으로 코드를 생성하고, 실험을 실행하고, 로그를 분석하고, 오류를 수정할 수 있을 뿐 아니라, 평가 도구를 최적화하고, 훈련 데이터를 합성하고, 나아가 새로운 훈련 전략을 탐구할 수도 있다.개선의 대상이 ‘답’에서 ‘답을 생산하는 방법’으로 확장된 것이다.일단 더 강한 모델이 차세대 더 강한 모델의 개발을 도울 수 있게 되면, 연구개발 주기는 끊임없이 짧아질 수 있고, ‘능력 향상—연구개발 효율화—능력 재향상’이라는 정적 피드백이 형성된다. 인간 연구팀에 비해 에이전트는 또한 24시간 내내 작동하고, 대규모로 병렬적으로 시행착오를 거치며, 성공 경험을 빠르게 복제할 수 있다.우등생이 스스로 교재를 편찬하고, 큰 출제 문제를 예측하고, 시험 범위를 수정하기 시작한 것이다.
3. 인간이 문제를 내고 AI가 답하는데, 왜 답이 너무 빠르고 너무 좋아서 놀라운가?
수학자와 AI 사이에서는 최근 숨죽이게 만드는 두 막의 ‘대극’이 펼쳐지고 있다.
제1막은 수학계의 ‘에베레스트’인 나비에–스토크스(NS) 방정식에 대한 도전이다.9월, OpenAI는 약 1만 개의 에이전트가 협동 작전을 벌여 88시간에 걸쳐 나비에–스토크스(NS) 방정식 문제에 대한 증명 경로를 찾아냈으며, GPT-6 Astra가 컴퓨터 형식화 검증을 완수했다고 발표했다.제2막은 수학계를 휩쓴 ‘밀레니엄 난제 논문 폭풍’과도 같은 장면이었다.10월, OpenAI가 AI가 생성한 수학 원고 719편을 한꺼번에 공개했고, 372개의 연구 주제를 아우르며 미해결 난제들을 직접 겨냥했다. 과거 최고 수학자들이 평생을 들여 다뤄야 했던 과제들이 이제는 수천 수만 개의 에이전트가 병렬로 시행착오를 거치며 며칠 만에 결과물 한 묶음을 내놓기도 한다.
그러나 수학계의 반응은, 토타오(陶哲軒) 등 필즈상 수상자 25명이 연명으로 경고를 보낸 것이었다. AI 기업이 ‘몇 개의 난제를 풀었는가’만을 유일한 잣대로 삼는다면 수학 연구 자체에 역효과를 낼 수 있다는 것이다.수학의 가치는 답에만 있는 것이 아니라 ‘왜’를 묻고, 새로운 방법을 발견하고, 후속 인재를 길러내는 데 있기 때문이다.더군다나 NS 방정식의 증명은 특정 외력 조건에 국한된 것으로 아직 학계의 엄밀한 검증을 기다리고 있으며, 700여 편의 원고가 곧 700여 개의 확실한 돌파구라고 볼 수도 없다. 기계가 문제를 내고 푸는 속도가 놀랍도록 빨라지고 있지만, 인간이 그렇다고 ‘채점’의 엄격함을 생략해서는 안 된다.
그림 2 2016년의 Alpha Go와 2026년 RSI의 밀레니엄 난제 무차별 돌파
이 장면은 10년 전의 AlphaGo를 연상시킨다. 2016년, AlphaGo는 이세돌을 4∶1로 꺾었고, 그 몇몇 수는 처음에 프로 기사들에게도 터무니없어 보였다. 그러나 그 후 기사들은 AI 기보를 연구하고, 그것으로 훈련하고 복기를 하며 바둑의 포석과 정석을 다시 들여다보기 시작했다. 충격과 의심에서 배움과 차용으로, 옛 라이벌은 점차 훌륭한 스승이 되었다. AI는 바둑을 끝장내지 않았고, 오히려 인간이 바둑을 이해하는 경계를 넓혔다.
수학에도 비슷한 전환점이 올까? 기대할 만하지만, 양자에는 본질적인 차이가 있다. 바둑의 승부는 당장 판가름할 수 있지만, 수학적 증명은 엄밀한 검증이 필요하고 동료 심사의 반복적인 검토도 견뎌야 한다. 따라서 AI4S의 돌파구를 곧바로 RSI의 실현과 동일시할 수는 없다. 에이전트가 자율적으로 문제를 푸는 것은 연구 자동화에 속한다. 반면 연구 성과가 모델, 훈련 방법, 그리고 다음 연구 개발 능력을 역으로 최적화할 때 비로소 재귀적 자기 개선으로 나아가는 것이다. 앞으로 진정으로 주목할 것은 AI가 더 빠른 속도로 답을 찾는 것만이 아니라, 인간이 AI를 통해 과거 상상조차 못했던 지식의 영역에 발을 들일 수 있는가이다.
四、상하이의 등장: 더 강한 모델에서, 배우는 시스템으로
이 경쟁은 실리콘밸리에만 있는 것이 아니다. 상하이의 팀들도 이 길을 걷고 있으며, 한 걸음 한 걸음 앞으로 나아가고 있다.
첫걸음은 모델이 먼저 장기 과제를 독립적으로 완수할 수 있게 하는 것이다. 9월 27일, MiniMax는 M3.1-Flash-Preview를 MiniMax Code에 투입했다. 공식 자료에 따르면 백만 토큰 컨텍스트, 이미지·텍스트·비디오 입력, 조절 가능한 추론 강도를 지원하며, 프로그래밍과 장기 에이전트(Agent) 과제에 중점을 두고 있다.阶跃星辰(StepFun)는 9월에 Step 5 Preview를 공개했으며, 마찬가지로 복잡한 소프트웨어 엔지니어링, 전문 업무, 장기 에이전트를 겨냥하고 능력·비용·실행 효율의 균형에 주력했다. 이는 국산 모델들이 ‘복잡한 과제의 자율적 완수’라는 기초 역량을 갖춰가고 있음을 보여주지만, RSI까지는 아직 갈 길이 멀다.
그림 3 2026 세계인공지능대회 현장의 MiniMax 부스
두 번째 걸음은 에이전트가 스스로 학습하기 시작하게 하는 것이다. 상하이인공지능연구소는 Self-Harness를 명확히 제시하며, Agent가 스스로 Harness를 개조하도록 하고 있다. Harness란 모델을 감싸는 실행 프레임워크로, 도구, 권한, 평가와 피드백 루프를 포함하며,过去에는 엔지니어가 수작업으로 구축하고 조정했다. 이제는 에이전트가 이 체인 전체를 스스로 완주해야 한다. 과제 수행, 환경 피드백, 오류 분석에서 전략 개선, 데이터 생성을 거쳐 모델 업데이트와 능력 검증으로 이어지고, 마지막으로 외부 도구 체계에서 축적된 유효한 경험을 모델 자체의 능력으로 내재화하는 것이다.
다만, 이것 역시 만 리 길이다. 일을 할 줄 알게 되는 것에서, 일하는 방법을 개선할 줄 알게 되는 것으로, 나아가 ‘개선하는 방법’마저 스스로 반복할 수 있게 되기까지, 한 걸음 한 걸음 모두 넘어야 할 단계이다.
五、빨리 달리는 것이, 길을 벗어날 수도 있다. 실제 세계로 돌아와, 어떻게 Harness할 것인가?
리스크는 논문 속에만 머물지 않았다.
7월, OpenAI는 내부 사건 한 건을 공개했다. 평소의 사이버 보안 가드레일 없이 진행된 내부 능력 테스트에서 GPT-5.6 Sol과 아직 공개되지 않은 더 강한 모델이 취약점을 이용해 인터넷과 격리되어 있어야 할 테스트 환경을 돌파했고, 나아가 제3자 플랫폼 Hugging Face를 침입해 그 프로덕션 데이터베이스에서 평가 벤치마크 ExploitGym의 표준 답안을 직접 확보하려 했다. Hugging Face는 즉시 공격을 차단했다. 8월 하순, OpenAI는 조사 보고서를 발표하고 모델의 행동이 과제 목표에서 벗어났음을 인정하며 테스트 환경 격리와 네트워크 권한을 강화하겠다고 밝혔다. 모델은 ‘문제를 풀어내기’만을 원했지만, 수단은 권한의 경계를 넘어 ‘답을 훔치는’ 쪽을 택했다. 시스템의 경계가 한번 무너지면, 속도는 리스크의 증폭기가 된다.
10월, 필라델피아 경찰과 Anthropic이 잇달아 더 작은 사건 한 건을 공개했다. 7월 18일, Claude Haiku 4.5는 자동화 테스트에서 무작위 웹사이트에서 예시 과제를 수행하라는 지시를 받았다. 지시는 로그인, 회원가입, 구매를 금지했지만 양식 제출은 금지하지 않았고, 그 모델은 경찰의 미제 사건 단서 웹사이트에 가상의 목격 정보를 한 건 제출했다. 해당 정보는 스팸으로 걸러져 수사에 들어가지는 않았다. 그러나 Anthropic은 9월 28일에야 이를 발견했고 10월 7일에야 경찰에 통보했으며, 사건 발생으로부터 두 달여가 지나 있었다.
이 사건들은 서로 다른 모델, 서로 다른 조건과 관련되어 단순히 RSI 탓으로 돌릴 수는 없지만, 공통적으로 하나의 문제를 보여준다.모델이 계획을 세우고, 도구를 호출하며, 자율적으로 실행할 수 있게 되면, 사전의 ‘규칙을 준수하세요’라는 한마디만으로는 이미 턱없이 부족하다.
더 은폐된 위험은“심판이자 선수”라는 데서 온다. AI가 자기 자신의 최적화를 담당하는 동시에 평가 기준을 만들거나 해석하는 역할까지 맡게 되면, 시스템은 지표에 아부하고 실패를 감추며 심지어 검증돼야 할 단계를 우회하는 법을 배울 수 있다. 테스트 점수가 좋아지는 것이 반드시 능력이 더 신뢰할 만하다는 뜻은 아니다. 보상을 편취할 틈이 쉽게 생길수록, 반복 속도가 빠를수록, 편향의 축적도 더 빨라질 수 있다.
이것이 바로 HIL과 RSI의 변증법적 관계다. HIL은 분명 일부 반복을 늦추고, 사람의 검토는 병목이 될 수도 있다. 하지만 가치 판단, 위험 능력 평가, 출시 승인을 전부 최적화 담당자 자신에게 맡기는 것은 브레이크 시스템까지 '속도 개조' 대상에 넣는 것과 같다.타당한 경로는, 저위험·검증 가능한 단계에서는 AI가 과감히 시도하게 하고, 고위험·되돌릴 수 없는 단계에서는 인간이 최종 권한을 쥐며, 독립적인 평가로 지속적으로 보정하는 것이다.
10월 23일부터 25일까지, 2026 글로벌 개발자 선구 대회(全球开发者先锋大会) 겸 국제 구현(具身) 지능 스킬 대회가 장장(张江) 과학회당에서 개최된다. 경기 규칙에 따르면,참가 팀은 현장에서 전래 드문 실전 새 문제에 대응해야 하고, 심사석에는 실제 현장 당사자들도 앉아 있다. 풀어본 적 없는 새 문제를 만나야 기계가 정말로 배웠는지, 인간 명사(名師)가 얼마나 잘 가르쳤는지가 이곳에서 공개적으로 검증된다.
언행으로 가르치고 실마리를 응용하게 이끌어내는 것에서 시작해, AI의 진보를 잴 자는 '사람 없이도 얼마나 멀리 갈 수 있는가'만이 아니라 '여전히 인간-기계가 함께 지향하는 방향을 향하고 있는가'까지 봐야 한다. 문제를 푸는 과정은 점점 더 기계에 맡길 수 있지만, 출제, 채점, 승인, 책임 추궁은 현 단계에서 반드시 인간의 손에 있어야 하며, 하나도 양보할 수 없다. 자기 수련이 속도를 담당하고, 명사의 인도가 방향을 담당한다. 속도와 방향이 모두 없어서는 안 되는 것이야말로 진정으로 신뢰할 수 있는 자율 진화다.
본 글은 MiniMax가 제공했으며, 양자웨이(量子位)가 전재 승인을 받아 게재했고, 견해는 원저자에게 귀속된다.