저자丨치청융(齐铖湧)
편집丨岑봉(岑峰)
최근 엠바디드 업계에서는 '보디리스로 포스트 트레이닝을 할 수 있는 가능성'에 대한 논의가 뜨겁다. 국내외적으로 아직 실행 가능한 방안을 만든 팀은 없다. 쉽게 말해, 대형 모델이든 엠바디드 로봇이든 진정으로 잘 쓰이려면 사전 훈련으로 기반을 다지는 것만으로는 부족하고, 최종적인 착지는 전부 '포스트 트레이닝'으로 다듬는 데 달려 있다. 치위안 로봇 수석 과학자 둥하오는 AI과기평론에 “사전 훈련은 하한선을 높이는 것이고, 상한선은 포스트 트레이닝에 달려 있다”고 말했다. 현재 엠바디드 기업들이 공장 취업, 가사 청소 등 실제 착지를 추구하는 것은 성공률을 겨루는 것이며, 곧 포스트 트레이닝의 실력을 겨루는 것이다. 그러나 포스트 트레이닝의 어려움은 바로 실제 물리 세계와 다뤄야 한다는 점에 있고, 과거에는 순수 실기 데이터를 써야 했다. 하지만 실기 훈련 비용이 너무 높아, 대규모로 확산하려면 그렇게 많은 로봇 본체의 하드웨어 마모, 장소, 인건비 모두 천문학적 비용이 든다. 그래서 업계의 사전 훈련은 이미 '보디리스' 장치로 데이터를 수집하는 쪽으로 전환하기 시작했고, 양은 늘었지만 전통 포스트 트레이닝에서 가장 중요한 '오류 교정' 단계는 해결할 수 없었다. 이 업계 난제를 해결하기 위해 베이징대와 치위안 로봇의 둥하오 팀이 HIL-UMI를 출시했다. 이 연구는 엠바디드 포스트 트레이닝 단계에서 보디리스라는 전제 아래, 가장 중요한 '오류 교정' 단계를 중심으로 전개된다. 논문 주소: https://arxiv.org/pdf/2609.20659 프로젝트 홈페이지: https://hil-umi.github.io
01
엠바디드 포스트 트레이닝 비용은,
왜 대형 모델 RLHF보다 훨씬 큰가?
대형 모델에 비해 엠바디드 업계의 포스트 트레이닝이 너무 비싸다는 것이 많은 엠바디드 모델이 Scaling을 시도하지 못하는 중요한 원인이다. 대형 언어 모델이 이렇게 잘 쓰이게 된 이유는 모두가 알고 있다: 사전 훈련 데이터량이 많을 뿐만 아니라, 더 중요한 것은 뒤에 RLHF(인간 피드백 강화 학습, 간단히 데이터 라벨링으로 이해할 수 있음)와 DPO 같은 '포스트 트레이닝'의 공이다. 하지만 엠바디드 로봇의 포스트 트레이닝 비용은 대형 모델의 RLHF보다 백 배 이상 높다. 대형 모델의 RLHF는 그저 더 많은 사람을 컴퓨터 앞에 앉혀 클릭하고 선택하게 하면 되지만, 엠바디드 로봇은 진짜로 물리 세계와 마주해야 한다. 전통적으로 가장 많이 쓰이는 DAgger, 즉 인간이나 알고리즘을 전문가로 하여 포스트 트레이닝을 평가하는 방식을 보면, 이 과정은 효과적이지만 비싸고 느리다. 비교적 흔한 것은 전통적인 실기 휴먼인더루프(즉 HG-DAgger: Human-Gated DAgger) 방식으로, 로봇 팔이 작동하는 동안 인간 조작원이 옆에 앉아 긴장한 채 지켜보다가, 잡기가 빗나가거나 충돌 직전일 때 긴급 개입하여 올바른 궤적을 기록하는데, 이것이 인간이 전체 훈련 루프를 관리하는 방식이다. 가장 번거로운 것은, 매번 교정이 끝난 후 인공적으로 어질러진 현장을 원래대로 복구해야 한다는 점이다. 로봇 실행, 인간 개입, 환경 복구를 반복하며 오후 내내 앉아 있어도 쓸 수 있는 데이터는 많지 않다. 이 과정에서 대부분의 시간은 로봇의 서툰 동작과 인공적인 환경 복구에 소모된다. 이렇게 느리고 돈이 많이 드는 방식은 포스트 트레이닝 데이터의 규모 있는 수집을 어렵게 만드는 고질적 문제가 되었고, 확장성을 크게 제한했다. 여기서 핵심 질문이 나온다: 우리는 실기에서 벗어나, 평소 집안일을 하듯 자연스럽게 모델에 가장 필요한 '오류 교정' 데이터를 수집할 수 없을까?02
HIL-UMI의 근본 논리:
UMI 수집에 '모델 두뇌'를 추가하다
HIL-UMI의 방식은 매우 영리하며, 한 문장으로 요약하면 “로봇 없이도 로봇에게 보충 수업을 해줄 수 있다”는 것이다. HIL-UMI란 Human-In-the-Loop(휴먼인더루프) UMI를 가리키며, 과거 사람들이 흔히 쓰던 UMI(핸드헬드 그리퍼)로 데이터를 수집하는 것과 달리, HIL-UMI의 수집은 '맹목적'이지 않고 하나의 모델을 추가했다. HIL-UMI는 모델을 이 핸드헬드 수집 과정에 직접 연결한다: 실제 세계에는 사람만 움직인다: 조작원이 손에 UMI 그리퍼를 들고 정상적으로 작업하고(예: 장난감 잡기, 수건 개기) 카메라가 화면을 동시에 촬영한다. 모델이 백그라운드에서 '상상'한다: 모델은 동일한 화면과 작업 지시를 받고, 백그라운드에서 빠르게 “내가 한다면 다음 20단계 동작을 어떻게 할지”를 예측하지만, 어떤 로봇 팔도 실제로 제어하지 않는다. 불일치를 발견하면 즉시 알림을 트리거한다: 시스템은 백그라운드에서 인간의 실제 동작과 모델의 예측 동작을 실시간으로 비교한다. 둘이 비슷하면 모델이 이미 숙달된 것이므로 반복 기록이 필요 없고, 모델이 '상상'한 궤적이 인간의 실제 조작과 크게 어긋나는 것이 발견되면(모델이 이 시나리오에서 '초보자'라는 뜻), 시스템은 즉시 조작원에게 알린다: “이 구간은 모델이 못 하니 여기서부터 더 많이 가르쳐 주세요!” 핸드헬드 그리퍼와 수집 장치로 전 과정을 진행하며, 로봇 팔이 현장에 있을 필요도 없고, 로봇이 진짜로 한 번 실수할 필요도 더 없다. 인간은 시범을 보이는 동시에, 모델이 실제 배치에서 크게 실패할 가능성이 높은 시나리오를 정밀하게 포착해낸다.03
수집 도구를 세는 것이 아니라,
포스트 트레이닝 속 데이터 플라이휠이다
HIL-UMI를 단지 핸드헬드 레코더로 이해한다면 그것을 과소평가하는 것이다. 그것이 진정으로 강력한 점은 모델 스스로 '틀린 문제집'을 내뱉게 하는 자기 폐쇄 루프 시스템을 구축한 데 있다. 이 폐쇄 루프에는 두 가지 큰 기술적 기둥이 있다:첫 번째 단계: 동작 불일치 감지(사각지대를 잡아내다). 로봇 조작은 같은 상황에서 여러 가지 합리적인 자세가 있을 수 있다. HIL-UMI는 단일 예측을 보지 않고, 여러 조의 동작 블록을 병렬 샘플링하여 '에너지 분포'(Energy Score)를 계산한다. 모델이 자신이 있으면 동작 분포가 매우 수렴하고, 모델이 내놓은 동작이 분산되고 인간과 크게 어긋나면 시스템은 모델이 '분포 외 상태(OOD)'에 진입했다고 판단하고 결단력 있게 보충 기록을 시작한다.두 번째 단계: 어드밴티지 추정기(유효한 동작과 무의미한 흔들림을 구분하다). 움직이는 법을 배우는 것만으로는 부족하고, 그 동작이 과제 진행에 도움이 되는지도 알아야 한다. 블록 쌓기 과제에서 블록을 공중에 들고 망설이며 흔드는 것과, 정확히 받침대에 맞춰 내려놓는 것은 완전히 다른 문제다. HIL-UMI는 앞뒤 화면을 바탕으로 '과제 진행 정도'를 평가하는 추정기를 도입했고, '어드밴티지 조건' 훈련을 채택했다—모델에게 이 교정 구간을 배우도록 할 뿐만 아니라, 과제 진행을 실질적으로 추진할 수 있는 동작만 골라 배우도록 한다. 진정한 폐쇄 루프는 '동적 업데이트'에 있다: 매 라운드의 방향성 데이터 보충이 끝나면 모델이 반복 학습을 완료한다. 다음 라운드 수집에 이르면 모델이 똑똑해져서, 예전에 그것을 막혔던 곳은 더 이상 경보를 트리거하지 않는다. 반대로 인간과의 불일치 지점은 더 깊고 어려운 경계 시나리오로 이동한다. 모델은 끊임없이 새로운 사각지대를 드러내고, 인간이 맞춤형 시범을 보이고, 모델은 다시 진화하며, 이 전체 파이프라인은 눈덩이처럼 굴러가며 자기 반복하여 '맹목적으로 방대한 정답 데이터를 쌓는' 비효율과 완전히 작별한다.04
보디리스 포스트 트레이닝의 노선 비교
HIL-UMI를 더 객관적으로 이해하려면, 현재 업계의 몇 가지 주요 노선과 비교해 볼 필요가 있다: 실기 텔레오퍼레이션과 실기 DAgger: 데이터가 가장 충실하지만, 대당 비용이 높고 감가상각이 크며 조작 장벽이 높아, 수만 대 규모로 확산하는 것은 거의 불가능하다. 시뮬레이션(Sim2Real)과 강화 학습: 연산 비용이 싸고 대량의 데이터를 생성할 수 있지만, 연성 물체(옷 등), 마찰력, 복잡한 조명 조건에서 시뮬레이션 격차(Sim-to-Real Gap)는 지금까지도 거대한 벽이며, 실기 포스트 트레이닝으로 취급할 수 없다. 방대한 영상 사전 훈련: 규모는 무한대이지만 물리 역학 정보와 정밀한 동작 차원이 결여되어, 주로 모델에 '상식적 인지'를 구축해 주는 데 쓰이며, 밀리미터급 정밀 제어로 직접 전환할 수 없어 주로 사전 훈련에 쓰인다. 전통적 UMI(보디리스 정답 수집): 저렴하고 누구나 수집할 수 있지만 정답 사례만 수집할 수 있어 모델의 롱테일 오류 회복 문제를 해결할 수 없고, 역시 사전 훈련으로만 취급된다. HIL-UMI는 바로 이 뛰어난 스윗스팟에 자리 잡고 있다: UMI의 저비용과 쉬운 확장성을 빌려오고, DAgger의 맞춤형 오류 교정 능력도 빌려오면서, 동시에 두 방식의 단점을 모두 벗어던졌다.05
효율 5.63배 향상,
포스트 트레이닝이 드디어 로봇 팔 중심에서 벗어나다
공학적으로 손해가 아닌지는 두 조의 비교만 봐도 알 수 있다: 맞춤형 보충 수업 vs 맹목적 다중 학습: 실제 로봇 팔에서의 네 가지 과제(수건 개기, 책상 정리, 블록 쌓기, 도장 찍기) 테스트에서, 동일한 데이터 프레임 수 예산을 주고 일반 시범을 계속 늘려가는 통상 SFT 파인튜닝은 최종 과제 평균 진행 점수(TPS)가 44.3에서 58.0으로 거북이처럼 기어올라갔을 뿐이지만, HIL-UMI의 맞춤형 오류 교정 메커니즘을 사용하자 평균 점수가 바로 94.8로 치솟았다. 정밀도를 가장 시험하는 블록 쌓기와 도장 찍기 과제에서는 성공률이 100점에 도달했다. 수집 효율이 곧바로 5.63배로 뒤집혔다: 가로축이 초기 모델 Base에서 세 라운드 업데이트 Iter1—Iter3까지이고, 세로축은 과제 진행 점수다. 보라색은 SFT, 주황색은 어드밴티지 메커니즘을 제거한 HIL-UMI, 초록색은 완전한 HIL-UMI이며, 가장 오른쪽은 네 가지 과제의 평균 점수다. 매우 복잡한 '책상 정리' 장기 과제에서 실기 HG-DAgger로 유효 데이터 한 프레임을 수집하는 데 412.99 밀리초가 걸리는 반면, HIL-UMI는 단 73.40 밀리초면 되어, 단위 시간당 수집 효율이 5.63배나 향상되었다. 사람 손으로 직접 수집하는 것이 로봇을 원격 조작해 수집하는 것보다 훨씬 편하기 때문이다. (레이펑왕) 왼쪽 그림은 네 가지 과제 평균 점수의 누적 수집 시간에 따른 변화이고, 오른쪽 그림은 책상 정리 과제에서 각 방법의 훈련 단계별 성능이다. 절약한 이 5배가 넘는 시간은 모두 이전에 로봇 팔이 느릿느릿 움직이고, 조작원이 기다리고, 사람이 현장을 직접 복구하는 데 쓰인 '무효 손실'이었다. 우리가 보기에 더 중요한 상업적 상상력은: 실기 텔레오퍼레이션은 작업자의 숙련도 요구가 극도로 높아 조금만 흔들어도 저품질 데이터가 되지만, 핸드헬드 그리퍼는 “인간이 타고날 줄 알며 궤적 품질이 매우 높다”는 것이다. 이는 포스트 트레이닝이 처음으로 '분산형'의 가능성을 갖게 되었음을 의미한다. 미래에는 전국 각지의 일반 가정에서 아르바이트 인력이 몇백 위안짜리 간이 장치를 들고 일상 동작을 수행하고, 백그라운드는 동일한 클라우드 대형 모델에 연결되어, 모델이 누구에게서 동작 불일치를 감지하면 그 소량의 고품질 차분 데이터를 조용히 캡처하여 전송받을지도 모른다. 엠바디드 포스트 트레이닝이 드디어 모든 사람을 실험실에 모아 로봇 팔로 수행할 필요가 없어진 것이다.06
"미래 포스트 트레이닝의 발전은,
속도와 효율을 겨루는 것"
인터뷰에서 치위안 로봇 수석 과학자 둥하오는 매우 반(反)컨센서스적인 판단을 내렸다:그의 견해로는, 당년 DeepMind가 AlphaGo를 만들 때 처음엔 기보(棋譜)로 모방 학습(사전 훈련)을 했지만, 진정으로 그를 신격으로 만든 것은 이후 스스로와 대국하며 대규모 강화 학습을 진행한 후 훈련(post-training) 단계였다. 오늘날 로봇 대형 모델도 마찬가지다. 사전 훈련은 출발점인 세계관 구축을 해결하며 경로가 비교적 명확하지만, 미래에 누가 진정으로 일반화와 극한의 성공률로 나아갈 수 있는지는 전부 '규모화 가능한 후 훈련'에 달려 있다. 지난 2년간 엠바디드 AI(具身智能) 분야는 누가 먼저 대형 모델로 로봇을 '점등'하느냐를 다퉜다면, 후반전의 경쟁은 누가 가장 낮은 한계 비용으로 가장 빠르게 로봇의 오류 수정 네트워크를 구축하느냐를 다투는 것이다. 엠바디드 모델이 'Demo를 돌릴 수 있는' 단계에서 '수많은 가정에 진입하는' 단계로 넘어가는 중요한 전환점에서, 산업계는 대체 어떤 계산을 하고 있을까? 차세대 기반 모델과 후 훈련 체계는 또 어떻게 진화할 것인가? 최근 우리는 베이징대학교 부교수이자 치위안로봇(启元机器人) 수석 과학자인 둥하오(董豪)와의 독점 인터뷰를 통해 엠바디드 학계와 산업계의 융합과 상호 보완에 대해 이야기할 예정이니 기대해 주시기 바란다. (레이펑왕(雷峰网), 공식 계정: 雷峰网)"사전 훈련과 포스트 트레이닝은 단순한 비율 관계가 아니라, 단계적 교체 관계다."
탑승하세요, 글로벌 AI 주요 학회의 핵심을 모두 보여드립니다
독점적으로 모두 열람 가능:
전문가 강연 PPT
대회 보고서 전문
인기 논문 해설
학계 신예 인터뷰
위 QR코드를 스캔하거나
「원문 읽기」를 클릭하여 전용 코너를 팔로우하세요.
레이펑왕(雷峰网) 오리지널 기사이며, 무단 전재를 금지합니다. 자세한 내용은전재 안내를 참조하세요。