형위(衡宇), 어페이쓰(凹非寺) 발
량쯔웨이(量子位) | 공식 계정 QbitAI
선반 위의 작은 크기 걸이고리가 가격표 봉으로 일부 가려져서, 편의점에 취직한 로봇군은 처음으로 물건 걸기를 시도했다가…… 허탕을 쳤다.
예전이라면 이때 사람 엔지니어가 나서서 먼저 문제를 점검하고, 프로그램을 조정하고 데이터를 보충한 뒤, 로봇에게 다시 연습시켜야 했다.
하지만 이 로봇군은 좀 달랐다.스스로 새로운 방법을 터득해냈다.
이전 실행 기록을 다시 살펴본 결과, 헤드 카메라의 시야 해상도가 부족한 데다 가격표 봉에 가려져 작은 걸이고리의 위치를 잘 볼 수 없다는 것을 발견했다.
이에 Agent는 전략을 조정해 왼팔을 먼저 목표물에 가까이 접근시키고, 손목 카메라로 근거리 시야를 보완해 위치를 확인한 뒤, 오른팔이 물건 걸기를 완료하도록 했다.
더 주목할 점은, 방금 로봇군이 스스로 문제의 원인을 발견하고 해결책을 찾았을 뿐만 아니라,이 유효한 경험을 조용히 축적해 놓아 필요할 때 쓸 수 있게 했다는 것이다.
로봇이 업무 중에 문제를 발견하고, 전략을 조정하고, 경험을 축적하도록 하는 이 메커니즘의 배후에는즈위안(智元)이 최근 발표한임바디드 Agent 프레임워크 Genie Master가 있다.
이는 또한 즈위안이 최근 진행 중인 “AI WAVE” 시리즈 기술 발표의 네 번째 탄이다—이번에는 즈위안이 업계 최초로 Physical RSI(신체적 재귀적 자기진화)를 실제 편의점 업무 흐름에 도입했다.
Genie Master의 지원 아래, 즈위안 징링(精灵) G2 로봇은 실제 편의점 환경에서 임무를 수행하는 과정에서 이미 사람의 시범과 디버깅에 의존하지 않고, 실패 원인을 스스로 분석하고 전략을 조정하며 경험을 축적할 수 있으며,“무인 인 더 루프”의 지속적인 자기 개선을실현한다.
이는 업계 최초로 시뮬레이션 환경과 실험실 설정(toy setting)을 벗어나 실제 업무 현장에서 Physical RSI를구현하고 검증한 사례이다.
Genie Master라는 자기 진화 폐쇄 루프는 대체 어떻게 작동하는 걸까? 그리고 로봇의 대량 투입에 어떤 획기적인 변화를 가져올 수 있을까?
Genie Master란 무엇인가?
이 로봇이 왜 “스스로 깨달음”을 얻을 수 있는지 이해하려면, 먼저 그 배후에 있는 Genie Master가 대체 무엇인지 살펴봐야 한다.
간단히 말해, Genie Master는상위 Agent의 추론 능력과 하위 로봇의 동작 실행 능력을 연결하는 것을 핵심 임무로 하는임바디드 Agent 프레임워크이다.
이는 Agent가 로봇의 각종 능력을 원활하게 호출하고 실제 물리적 실행 피드백을 이해할 수 있게 할 뿐만 아니라, 임무 진행 상황에 따라 행동과 목표 지향적 연습을 지속적으로 조직할 수 있게 한다.
로봇이 실제 업무에서 능력 부족이 드러나면, 이 문제는 곧바로 자기 개선 절차로 들어간다.
쉽게 알 수 있듯이, Genie Master가 집중적으로 구축하려는 것은로봇 배치 이후의 지속적인 개선 메커니즘이다여기에는 작업 수행 당시의 판단과 동적 조정뿐 아니라 사후의 경험 축적과 저수지 동작 전략 갱신도 포함된다.
지위안(智元)이 이 프레임워크를 제안한 이유는 업계의 오랜落地 아픈 지점을 보았기 때문이다.
업계 관계자들은 모두 알다시피, 로봇이 실제 상업 현장에 들어가면 훈련 단계에서 다루지 못한 롱테일 상황에 부딪히기 마련이다.
실행 실패, 동작 불안정, 혹은 특정 작업의 소요 시간이 지나치게 긴 경우 등은 모두 엔지니어의 개입 점검이 필요할 수 있으며, 이후 프로그램 조정, 시범 데이터 보충 또는 모델 학습을 통해 성능을 개선하게 된다.
현장이 많아지고 작업이 복잡해질수록 연구개발과 유지보수의 작업량도 그에 따라 늘어난다.
만약 모든 새로운 수요마다 인공이 처음부터 점검과 디버깅을 기다려야 한다면 반복 개선 속도가 제한될 수밖에 없고, 여러 현장에 걸친 대규모 적용 확산은 더욱 어려워진다.
한마디로 요약하면,구현 신체 지능(구체 신체 지능)이 진정으로 대규모로 활용되려면 인간 시범에 의존하는"수동적 미세조정"에서 로봇이 스스로 문제를 발견하고 해결하는 "자가 진화 모드"로 전환해야 한다.
Genie Master는 그중 일부 작업을 에이전트(Agent)에 맡기고자 한다.
문제 진단, 연습 조직화, 결과 평가를 모두 에이전트가 수행하도록 함으로써, Genie Master는 로봇이 자율적으로 새로운 능력을 습득하도록 지원하며, 이를 통해"고객이 새로운 수요를 제시"하는 시점부터 "로봇이 그 새로운 능력을 습득"하는 시점까지의 연구개발 기간을크게 단축한다.
앞서 언급한 갈고리 보충 외에도, 실제 편의점 실측에서 Genie Master를 탑재한 로봇은 복잡한 상황에 대응하는 더 많은 능력을 보여주었다.
지위안에 따르면, Genie Master 팀은 이미 픽업, 보충, 청소, 이상 복구 및 다중 로봇 협업을 통합 워크플로우에 포함시켜, 실제 업무에서 로봇의 지속적 개선 폐쇄 루프를 탐구하고 있다.
한가할 때 스스로 "추가 훈련"하는, 구체 에이전트 프레임워크가 대뇌와 소뇌를 연결
로봇이 업무 중에 스스로 진화하게 만든다는 발상은 그리 어렵지 않다.
하지만 그 전에, 왜 이 일은 실험실의 논의에만 머물러 있었고, 현실 비즈니스에서 실제로 착수해 성과를 내는 경우는 거의 없었을까?
그 이유를 들여다보면, 상위의 경험 축적이든 하위의 정책 내재화든, 모두 극도로 견고한 기반 위에 세워져야 하기 때문이다.
상위 추론‘대뇌’의 인도는 정확하게 동작으로 구현될 수 있어야 하고, 하위 실행을 담당하는 ‘소뇌’의 결과 역시 실시간으로 대뇌에 피드백되어야 한다.
이 임계경을 하나로 연결하기 위해, Genie Master는 핵심 설계 중 하나를 내놓았다.
구체 실행 프로토콜EEP(Embodied Execution Protocol)이다.
EEP는 에이전트(Agent)와 물리 세계를 위한 통합 인터페이스를 구축하며, 주로 네 가지 핵심 인터페이스를 포괄한다.
- 능력 인터페이스: 에이전트가 로봇이 현재 호출할 수 있는 능력이 무엇인지 명확히 알 수 있게 한다.
- 유도 인터페이스: 에이전트가 하위 동작 실행부에 구체적인 공간 힌트, 물체 참조, 세분화된 언어 요구 사항을 전달할 수 있게 한다.
- 피드백 인터페이스: 에이전트가 로봇이 동작을 실행한 후의 실제 물리적 상황을 실시간으로 파악할 수 있게 한다.
- 연속성 인터페이스: 시스템이 로봇 군집의 작업 진행 상황과 분업 의존 관계를 지속적으로 추적하고, 동적 스케줄링과 중단 후 작업 이어하기를 지원할 수 있게 한다.
EEP 프로토콜을 통해, 그리고 시간 정렬(Temporal Alignment) 등의 협업 설계와 결합하여, 상위 에이전트는 실행 결과에 따라 언제든 동적으로 유도를 조정할 수 있고, 하위의 기반 동작 정책(Action Policy)은 현재 관측과 에이전트의 요구를 결합해 동작을 정확히 실행하며, 관측 결과와 하위 작업 상태를 실시간으로 반환한다.
구체 지능 시스템에서는 추론, 실행, 피드백을 진정으로 하나로 묶었을 때에만 자기 진화가 공중 어전이 되지 않는다.。
EEP가 바로 이 상호작용 체인에서 핵심 인터페이스 역할을 담당하며, 이후의 경험 축적과 정책 업데이트를 위한 토대를 마련한다.
토대가 튼튼해진 후, 로봇의 배포 상태에서의 ‘자기 갈고닦기’ 일상이 시작된다.
편의점의 정상 업무 흐름에서, 로봇이 어떤 작업을 반복적으로 실패하거나, 실행이 불안정하거나, 시간이 너무 오래 걸리는 등 ‘능력 공백’이 드러났을 때, 에이전트는 그냥 지나치지 않는다.
에이전트는 편의점의 한가한 시간을 능동적으로 활용해, 로봇들이 이러한 취약 부분에 대해 ‘자기 주도 추가 연습’을 하도록 조직한다.
무엇을 연습할지, 어떻게 연습할지, 연습 후 결과가 기준에 부합하는지, 예외 발생 시 어떻게 복구하고 재시도할지, 모두 에이전트가 일임한다. 이렇게 실제 배포 환경은 로봇에게 ‘다음에 무엇을 연습하고 무엇을 고쳐야 하는지’에 대한 실전적 근거를 끊임없이 제공한다.
한 경로는 경험을 축적하고, 한 경로는 동작 정책을 갱신한다
이미 실제 현장에서 ‘문제 발견’과 ‘자기 주도 추가 연습’을 체계화했다면, 로봇은 어떻게 연습을 통해 얻은 성과를 진정으로 자신의 실력으로 만들어낼까?
여기서 Genie Master는 ‘두 갈래 동시 추진’ 전략을 채택했다.
한 경로는Harness RSI로, 경험 축적을 담당한다. 다른 한 경로는Policy RSI로, 동작 정책 갱신을 담당한다.
먼저 살펴볼 것은Harness RSI。
그 핵심 논리는 모델 가중치와 기존 도구 인터페이스를 그대로 유지한 상태에서, 주로 프롬프트(Prompt), 메모리(Memory), 실행 규칙을 최적화함으로써 이후의 작업 수행 성능을 개선하는 것이다.
일상적인 추론 실행 과정에서 로봇은 성공 사례와 실패 사례를 '하면서 바로바로 기록'한다. 이후 매일의 비동기식 반성(reflection)과 메모리 통합을 통해 이러한 실행 기록을 더 효과적인 안내, 완료 판정, 이상 복구 및 협업 규칙으로 전환하고, 마치 '틀린 문제 노트'를 쓰듯이 장기 기억에 편입시키며, 이후 작업과 상황에 따라 필요할 때 단계적으로 불러와 사용한다.
글 서두의 '편의점 상품 걸기' 사례를 돌아보면, 이것이 바로 Harness RSI가 힘을 발휘한 사례다.
처음에 그 작은 후크를 거는 작업의 성공률은 매우 낮았다. 하지만 Agent가 실패 기록을 거슬러 올라가 병원을 진단해낸 결과, '헤드 카메라의 시야 해상도가 부족하고 라벨판에 가려져 로봇이 작은 크기의 후크 위치를 정확히 식별하지 못한다'는 것이 원인이었다.
그래서 Agent는 '먼저 왼쪽 손목 카메라로 다가가 시야를 보완하고 확인한 뒤 오른쪽 손으로 상품을 건다'는 새로운 해결책을 실행 가능한 경험으로 기록해 두었고, 이후 비슷한 상황을 만나면 경험을 직접 불러와 여유 있게 대처할 수 있게 되었다.
'틀린 문제 노트' 외에도, 실물 로봇 배치가 요구하는 낮은 지연 시간과 높은 안정성이라는 엄격한 조건을 충족하기 위해서는 일부 능력이 반드시 로봇의 '근육 기억'이 되어야 한다.
이제 등장하는 것이 바로Policy RSI이다.
Policy RSI는 로봇이 자율 실행, 인수 인계 시범(human takeover demonstration), 이상 복구 과정에서 생성한 데이터를 모두 수집·정리하고, 필터링, 가중치 부여, 목표 재라벨링 등의 방식으로 데이터 품질을 높인 뒤, 지도 학습, 모방 학습 또는 강화 학습을 사용해 저수준의 동작 정책 모델(Action Policy)을 직접 업데이트함으로써 개선이 실제로 모델 파라미터에 남도록 만든다.
로봇이 매장에서 '배달 포장 시 꼬임 방지'라는 작업을 수행한다고 가정해 보자. 손잡이 끈이 엉키는 것을 처리하고 철회를 실행하며 이상 복구를 수행하는 과정에서 생성된 데이터는, 필터링과 처리를 거친 후 이후의 동작 정책 학습에 활용되어 모델이 유사한 작업을 수행하는 성능을 개선하는 데 도움을 줄 수 있다.
Policy RSI를 통해 로봇은 한 번 한 번의 실제 실행 경험에서 영양분을 흡수하여 더 안정적인 실행력과 더 정확한 지시 수행 능력을 갖추게 되었다.
설명할 필요가 있는 것은, 이제 완전히 사람의 개입이 불필요해진다는 것이 아니라는 점이다. Policy RSI는 여전히 사람이 개입한 시범 데이터 등을 활용하며, 동작 정책의 갱신 역시 데이터 처리와 모델 학습을 거쳐야 한다.
더욱 절묘한 점은,이 두 노선이 각자 따로 움직이는 것이 아니라 서로 맞물려 점점 빠르게 도는 플라이휠(비륜)을 형성한다는 것이다.——
Harness RSI는 경험의 축적과 조직화를 담당하여 시스템이 실패 원인을 분석하고 연습 방식을 선택하며 이후 실행을 개선하도록 돕는다.
Policy RSI는 처리된 실행 데이터를 동작 정책 학습에 활용하여, 효과적인 경험이 더 안정적인 동작 능력으로 축적될 기회를 얻게 한다.
두 노선이 서로를 촉진하여, 실제 업무 실행에서 능력 공간 발견, 자율 연습을 거쳐 경험 축적과 정책 갱신에 이르는 폐쇄 루프를 형성한다. 智元(Zhiyuan)은 이를 통해 축적된 경험이 시스템이 문제를 더 효과적으로 진단하고 연습을 선택하며 데이터를 활용하도록 돕기를 기대한다.
능력을 향상시키는 능력 자체도 지속적으로 진화하게 하여，같은 투입으로 더 큰 능력 증분을 얻는 것이야말로 '재귀적 자기진화(RSI)'의 진정한 힘이 있는 곳이다.
'출고 때부터 확정'에서 '일할수록 유능해짐'으로
편의점을 벗어나 엠바디드 AI 산업 전체의 시각에서 보면, 智元 Genie Master가 탐구하고 있는 방향은 새로운 문을 열어가고 있다.
첫째, 연구 개발 효율 측면에서기존 로봇 능력이 '출고 때부터 확정'이라는 속박을 완전히 깨고, 이를 '배치 중 지속적 성장'이라는 새로운 패러다임으로 전환했다.
AI의 새로운 해법이 현장에서 스스로 로봇의 새로운 능력으로 자라날 수 있다면, 고객이 새로운 수요를 제시한 시점부터 로봇이 새로운 기술을 익히기까지의 납기가 크게 단축될 것이다.
둘째, 상업화 적용 측면에서이는 경제적 계산서도 분명하게 정리한 셈이다.
로봇이 실제 작업에서 '일할수록 유능해지면', 동일한 능력 세트가 배치 과정에서 끊임없이 두꺼워진다.
향후 더 많은 매장과 더 많은 다른 산업 시나리오로 복제할 때, 후속 배치와 연구 개발의 한계 비용은 지속적으로 하락할 것이다.
그리고 이 끊임없이 낮아지는 비용 곡선이야말로, 엠바디드 AI가 대규모 상업화 적용으로 나아가는 핵심 전제이다.
智元이 10월 22일부터 시작한 'AI WAVE' 시리즈 발표를 돌이켜보면, 그중 네 번째 콘텐츠인 Genie Master는 智元의 풀스택 엠바디드 AI 전체 구도에서 상하를 잇는 핵심 역할을 하고 있다. 즉, 기반 베이스 모델과 풀스택 AI 능력을 실제 상업 배치 상태로까지 확장하고 뿌리내리게 한 것이다.
물론 기술 아키텍처를 아무리 멋지게 설명해도, 결국에는 실전 성과로 말해야 한다.
속담에 잘 말했듯이, 노인지 말인지는 끌고 나가 보아야 안다.
11월 2일智元은 전 인터넷이 지켜보는 '24시간 편의점 라이브 방송'을 개시할 계획이다.
그때 6대의 징링(G2) 로봇이 연속으로 근무에 투입되어, 대본 없는 실제 편의점 영업 속에서 엄격한 정식 채용 시험을 받게 된다.