이불 한 쌍의 호두, 아이스크림을 만드는 능숙한 손은 샤르파를 기억하게 할 충분한 이유입니다:
이 호세 기술 창업팀이 다시 출발한 몸을 가진 지능 기업은, 지난 한동안 가장 두드러진 라벨이 바로 높은 자유도의 촉각 섬세 손입니다.
진행 중인 IROS에서, Sharpa는 이 프로젝트를 한 걸음 더 앞으로 나아가게 했습니다. 첫 번째 전부 자체 개발된 일반용 인간형 로봇 D01가 출시되었습니다:
또한 새로운 세대의 정교한 손가락 W02도 있습니다:
또한 외골격 데이터 장갑 AE01:
손, 몸, 데이터 입력 장치를 한 번에 전시대 위에 배치하세요.
왜 샤르파는 로봇의 본체를 만들기 시작했으며, "어떻게 조작하는지"에 대한 데이터 입장까지 함께 만들었을까?
이 세 제품을 함께 보면, 답은 사실 현재 ‘몸을 통한 지능’ 분야에서 거의 모든 사람들이 논쟁하는 주제를 가리킨다.
로봇이 전시회나 스테이지 데모를 벗어나 실제 비즈니스 가치를 창출하려면 무엇이 필요할까?
IROS 현장에서 세 가지 제품이 각각 무엇인가요?
먼저 D01을 보겠습니다. 샤르파가 설명한 바에 따르면, 이는 일체형 촉각 인지 기민한 조작 로봇입니다.
이 로봇에서 가장 주목할 만한 몇 가지 숫자도 유연한 조작과 관련되어 있습니다: 팔의 하중과 자체 무게의 비율은 거의 1:1에 가까우며, 최대 끝부분 실행기의 속도는 10.5m/s를 초과하고, 통신 주파수는 1000Hz에 달하며, 반복 위치 설정 정확도는 0.2mm입니다. 구형 팔관절은 1:1인 인간의 크기로 설계되었습니다.
그 중에서 “고속 운동”이란 로봇이 스틱 교체, 도구 조작 등의 동적 작업을 빠르게 수행할 수 있음을 의미합니다.
“높은 부하 능력”으로 팔이 동작 과정에서도 충분한 작업 여유를 유지할 수 있으며, 0.2mm의 반복 위치 설정 정확도로 더욱 세밀한 조작을 가능하게 합니다.
로봇이 복잡한 작업을 처리할 때, 속도, 힘, 정확성은 각각 따로 존재하기 어렵습니다. D01의 설계 초점도 바로 이 점에 있습니다.
특히 촉감이 더 특별합니다.
D01 전자 피부가 전신을 덮고, 촉각은 상체를 커버합니다. 촉각 샘플링 주파수는 100Hz이며, 힘 인지 범위는 0.1—20N, 힘 해상도는 0.2N입니다. 따라서 로봇은 가벼운 접촉, 충돌 및 외부 힘을 직접 인지할 수 있습니다.
샤르파가 “촉각”에 그렇게 집착하는 이유는, 인간형 로봇이 실제로 작업 공간—즉, 민첩한 조작 환경에 들어서면 더욱 명확해진다:
시각은 로봇에게 “앞에 무언가가 있다”고 미리 알려줄 수 있지만, 접촉이 일어난 후에는 로봇이 “어디에 닿았는지, 힘이 얼마나 되는지, 접촉이 변했는지”를 알아야 한다.
예를 들어 고속으로 떨어지는 물체를 잡는 경우, 로봇은 매우 짧은 시간 내에 팔과 손가락의 상태를 조정해야 합니다. 또한 사람이 옆에서 작업하다가 로봇의 팔을 만일 때, 로봇은 그 외력이 어디서 오는지, 현재 궤적을 바꿔야 하는지 판단해야 합니다. 이러한 순간적으로 발생하는 물리적 현상에 대해서는 시각만으로는 완전한 정보를 제공하기 어렵습니다.
인체는 사실 항상 이런 과정을 반복하고 있습니다. 손가락이 물체가 움직이는 것을 감지하면 무의식적으로 잡는 힘을 강화합니다; 팔이 책상 표면에 닿으면 다음 동작을 조정합니다; 몸에 외부 힘이 작용하면 즉시 자세를 조정합니다.
많은 동작들은 먼저 문자 형태의 “사고 체인”으로 준비된 지침을 통해 실행될 필요가 없다. 신체 자체가 실시간 피드백을 제공하기 때문이다. D01이 팔과 가슴에 전자 피부를 부착한 것은, 이러한 “신체 피드백”도 로봇 인지 시스템에 포함시키는 것과 같다.
D01 핵심 상호작용 영역에서 촉각이 전반에 걸쳐 구현되며, 로봇의 신체가 제어 시스템 내에서 맡는 역할도 바뀌었습니다. 단순한 이상 감지나 사후 기록에서 벗어나 동작 조정의 일부로 진화했습니다.
다시 보면 W02, “새로운 세대의 전체 촉각형 초경량, 유연한 손”입니다. 여기에는 다소 놀라운 변화가 나타납니다: 전세대 W01은 22개의 액티브 자유도를 가지고 있었지만, W02는 21개로 줄었습니다.
줄어든 것은 작은 손가락 뿌리의 CMC에 있는 한 자유도입니다.
Sharpa의 활용에 대한 조사에 따르면, 이 자유도는 일반적인 수집 및 내부 작업에서 사용 빈도가 낮으며, 작업에 기여하는 정도도 제한적입니다. 따라서 W02는 해당 구조를 단순화했고, 기계적 복잡성과 잠재적 고장점도 줄였습니다.
이것도 W02에서 가장 볼 가치가 있는 부분 중 하나입니다: 유연한 손이 능력을 계속 증가시키지만, 자유도 수치가 꼭 높아질 필요는 없다.
또한, W02는 21개의 액티브 자유도를 더 좁은 구조로 통합했으며, 전체 손 크기가 W01에 비해 약 30% 줄어들고 무게도 더욱 감소했습니다. 이로 인해 두 가지 변화가 발생합니다: 전완 부하가 줄고, 손 크기로 설계된 작업 공간에 더 쉽게 들어갈 수 있습니다.
더 작고 가벼워지면서도 이전에는 쉽지 않았던 일들도 해낼 수 있게 됩니다.
예를 들어 W02는 “제로 그립 반경”을 구현하여 젓가락, 가는 실과 같은 작은 직경의 물체를 더 안정적으로 처리할 수 있다. 손끝에는 고해상도 시각촉각 센서가 사용되며, 힘 인지 범위는 5mN—30N, 공간 해상도는 1mm이다; 손바닥의 다른 부분은 전자피부로 덮여 있으며, 힘 인지 범위는 0.1—20N, 공간 해상도는 5mm이다.
즉, W02의 촉각 커버리지는 “몇 개의 손가락 끝”에서 전체 손으로 확대되었으며, 로봇은 손가락 끝, 손가락, 손바닥에서 오는 접촉 정보를 동시에 얻을 수 있습니다. 이는 작은 물체와 연속적인 손 작업에 특히 중요합니다.
주목할 점은, 샤르파가 “소형화”와 “촉각 커버리지”를 같은 공정 제약 내에 두었다는 것입니다. 한 손이 인간의 작업 공간에 들어갈 수 있어야 하면서도 충분한 접촉 감지를 유지해야 합니다.
마지막으로 AE01은 “고해상도 외골격 촉감 데이터 장갑”으로, 주로 정밀 원격 조작과 제1시점 데이터 수집에 사용됩니다.
AE01은 22개의 인코더를 통해 조작자의 자연스러운 손 동작을 정확하게 포착하고, 이를 로봇에 실시간으로 매핑하여 더 자연스럽고 민감한 고음질 원격 조작을 구현합니다.
핵심은 “피드백”입니다: 사람이 물체를 조작할 때, 눈으로는 위치와 형태를 보고, 손가락으로는 힘과 접촉, 슬라이드를 느낄 수 있습니다. AE01은 로봇이 이러한 정보를 다시 사람에게 피드백하게 하여, 조작자가 촉감을 통해 동작을 조정할 수 있게 합니다.
동시에, 인간의 자연스러운 손동작도 로봇이 실시간으로 포착할 수 있다.
따라서 AE01의 가치는 주로 “인간의 작업 경험을 로봇이 사용할 수 있는 데이터로 변환하는” 과정에 있습니다. 인간의 동작 궤적, 로봇 측의 접촉 피드백, 그리고 두 가지의 매핑이 모두 같은 수집 과정에 포함됩니다.
샤르파의 민첩한 조작 전체 스택은 도대체 무엇이 다른가
세 가지 제품을 구체적인 기술 문제로 보면, Sharpa의 IROS에서 출시된 세 가지 제품의 흥미로운 점은 “기민한 조작”을 여러 개의 독립적인 하드웨어 능력에서 벗어나,접촉 인지, 클로즈드 루프 제어 및 데이터 학습을 중심으로 구성된 기술 체계로 발전시키려는 시도입니다.
하지만 이 기술 체계를 이해하려면 “로봇이 언제 촉각이 필요한가”라는 문제부터 해체해 나가야 합니다.
전통적인 시각 전략이 가장 잘 작동하는 것은 접촉이 일어나기 전 단계입니다: 물체를 인식하고, 위치를 추정하며, 팔의 궤적을 계획한 다음 손을 뻗는 것입니다. 문제는 바로 마지막 몇 센티미터, 심지어 마지막 몇 밀리미터에서 발생합니다.
예를 들어 삽입, 조이기, 정렬, 유연한 물체를 잡는 경우, 작업이 완료될 수 있는지 결정하는 변수는 접촉 이후에 숨겨져 있습니다. 물체가 기울어졌는지, 미끄러졌는지, 압력이 너무 크지는지, 접촉점이 변했는지 등입니다. 시각적으로 결과를 볼 수는 있지만, 이러한 순간적인 물리적 상태를 안정적으로 관찰하기는 어렵습니다.
샤르파의 CraftNet 모델은 이 문제를 처리하는 방식이 매우 명확합니다: System 2는 작업과 장기 계획을 이해하는 역할을 하고, System 1은 접촉 전의 동작 계획을 담당하며, System 0은 접촉 단계에 들어가서 촉각 피드백과 정밀한 동작을 더 높은 주파수로 처리합니다. System 0은 정밀한 동작을 수행할 뿐만 아니라 상태 정보를 System 1에게 반영하여, 상위 계층의 동작이 실패하거나 물리적 상태가 변경될 때 다시 조정할 수 있도록 합니다.
이는 촉각이 여기서 하는 역할은 실제로 제어 회로의 시간 스케일을 바꾸는 것이라는 의미입니다.
접촉하기 전에, 로봇은 느린 모델로 “무엇을 가져가고, 어디에서 접근할지”를 생각할 수 있다. 접촉 후에는 “지금 미끄러질 수 있는지, 조금 더 눌러야 하는지, 손가락을 어디로 이동시킬지”를 결정해야 한다. 후자는 제어 시스템이 더 높은 주파수로 작동하도록 요구한다.
그 다음 단계에서는 질문이 이렇게 되는데: 로봇은 어떻게 한 번의 접촉 경험을 기억할 수 있을까?
이는 Sharpa의 최신 WM-Craftnet 연구가 단순한 “시각 + 촉각 융합”보다 더 주목할 만한 점입니다.
이전에는 단순히 깊이 이미지, 촉각 및 관절 상태를 결합하여 전략에 제공했던 것과 달리, 새로운 연구에서는 시간 기억을 포함하는 세계 모델인 World Synesthesia Model을 개발했다.
입력에는 손목 깊이, 촉각, 본체 인지 및 이전에 수행된 동작이 포함됩니다. Dreamer 스타일의 순환 상태 공간 모델을 통해 정보를 시간에 따라 변하는 숨겨진 상태로 압축합니다. 이 상태는 전략의 컨텍스트로서 물체의 현재 기하학적, 접촉 및 운동 상태를 판단하는 데 사용됩니다.
모델은 “지금 무엇이 일어나고 있는가”뿐만 아니라 과거에 무엇이 일어났는지를 고려하여 “왜 지금 이런 상황이 되었는가”를 추론합니다.
이 단계의 의미는 “촉각 참여 제어”에서 한 층 더 나아가는 것입니다: 로봇은 접촉 상태에 대한 내부 표현을 형성하기 시작했습니다.
처음에 제기된 질문으로 돌아가보자: 왜 샤르파는 촉각에 계속해서 집착하며, 민첩한 조작의 핵심 위치에 두는 걸까?
센서는 원시 접촉 신호를 제공하며, 제어 시스템은 밀리초에서 백밀리초 수준에서 반응합니다. 세계 모델은 이러한 순간적 사건들을 로봇이 지속적으로 활용할 수 있는 “물리 상태”로 조직하려고 노력합니다.
이것은 바로 기민한 조작이며, 일반적인 로봇 팔의 궤적 실행과는 다른 핵심입니다.
AE01은 데이터 측에서 마지막 조각을 채워준다.
전통적인 원격 조작은 사람의 동작 궤적을 기록하는 데 중점을 두지만, 접촉 과정에서의 물리적 경험을 완전히 보존하기는 어렵습니다.
AE01은 인코더를 통해 자연적인 손의 움직임을 포착하며, 로봇 측의 촉각 상태를 조작자에게 피드백하여 양방향 인터페이스를 형성합니다. 사람의 동작이 로봇에 들어오고, 로봇이 물체와 접촉한 후의 상태가 사람의 다음 조작에 영향을 미칩니다.
이렇게 되면, 한 번의 인공적 조작으로 생성된 데이터는 “손이 어디로 움직였는지”뿐만 아니라 접촉 시점, 힘의 변화, 슬라이딩 상태 및 그에 따른 수정 동작도 포함됩니다. 정확한 제어, 촉각 동기화 수집, 보정이 필요 없는 방식으로 인해 인간-기계 매핑과 다중 모드 데이터 동기화의 장벽이 낮아집니다.
그래서 IROS에서의 새로운 진행 상황을 요약하자면, 한 마디로 말하면 다음과 같습니다:
샤르파가 해결하려고 한 것은 실제적인 인지지능 관련 문제입니다. 고품질의 조작 데이터를 얻는 것이 어렵고, 진정으로 가치 있는 데이터는 가장 복잡한 접촉 순간에 발생합니다.
이 각도에서 볼 때, 샤르파의 민첩한 조작 “전체 스택” 능력은 모두 필수적입니다: 본체는 로봇을 실제 작업 공간으로 이끌고, 민첩한 손은 사람과 물체 간의 세부적인 접촉을 처리하며, 데이터 입구는 사람의 조작 경험과 로봇의 물리적 피드백을 저장합니다.
마지막으로, 모델은 이 정보를 다시 활용하여 여러 번의 조작을 다음 라운드의 능력으로 변환합니다.
기술적인 조작의 최고 플레이어
손은 우선 인간이 다양한 복잡한 업무를 수행하는 데 가장 신뢰할 수 있는 기관입니다.
또한 로봇과 실제 세계 간의 정교한 물리적 상호작용을 가장 직접적으로 이루는 매체이기도 하다.
따라서 W01부터 Sharpa는 높은 자유도, 촉각 및 정교한 조작을 중심으로 장기간 발전해왔으므로 이는 이상하지 않다.
초반 CES에서 진행된 데모가 놀라운 성과를 거두었으며, Sharpa는 업계 최고 수준의 정확하고 유연한 작동을 실제 데모로 보여주었습니다.
하지만 정교한 손이 일정 수준까지 발전하면, 문제는 자연스럽게 몸의 양쪽으로 확장됩니다: 이 손이 어떤 물리적 지지력을 필요로 하여 다양한 작업 환경에 적응할 수 있을까? 그리고 로봇이 여러 상황에서 유연하게 대응하고 다양한 작업 시나리오를 구현할 수 있도록 하려면 어떤 데이터가 필요할까?
이에 관련된 문제로는 고속 운동 시의 제어 정확도, 실제 접촉 인지, 인간이 사용하는 도구의 조작, 그리고 얇은 판, 유연한 물체, 액체와 같은 복잡한 물체를 처리하는 능력 등이 포함됩니다. 또한 신체, 손목, 손가락과 촉각 피드백이 연속적인 작업에서 협력하여 작동해야 합니다.
이러한 능력들을 연결할 수 있는 진정한 기회는 실제 작업에서만 나타난다.
올해 8월 말, Sharpa와 DQ가 협업한 폭풍우 로봇 레스토랑이 상하이 우장로에 개장했습니다. 로봇을 위한 별도의 작업 공간을 설계하지 않고, DQ의 기존 장비, 원료 및 제작 프로세스를 그대로 사용합니다. 로봇은 상자를 열고, 컵 랩을 씌우고, 얼음을 받고, 재료를 뿌리고, 섞고, 컵에 담는 55단계의 연속적인 과정을 수행합니다.
개별적인 단계를 따로 보면 "과학소설"에 해당하지 않지만, 문제는 이 단계들이 연속적으로 발생하고, 이전 단계에서 남은 오차가 다음 단계로 전달된다는 점입니다.
최대의 어려움은, 개조할 수 없는 환경에서 고도로 연관된 여러 작업을 연속적으로 완료하는 것입니다.
그리고 이는 정확히 Sharpa가 앞서 구축한 기술 체인과 일치합니다.
장거리 작업은 모델에 의해 분해되고 상태가 관리됩니다; System 1은 구체적인 동작을 담당합니다; 접촉이 시작되면 System 0은 촉각과 힘 피드백을 활용하여 지속적으로 조정합니다; 세계 모델은 시각, 촉각, 힘 피드백 및 본체 상태 판단을 통해 작업이 현재 어디에 있는지, 다음 단계는 어떻게 해야 하는지를 결정합니다.
그리고 이것은 샤르파가 연간 두 번째로 민첩한 조작 한도를 갱신한 것도입니다.
기술적인 손 기구 하드웨어부터 촉각 제어, 그리고 세계 모델과 실제 매장 작업에 이르기까지, Sharpa는 정교한 조작 능력을 단순한 끝단 실행 장치의 역량에서 점차 하나의 전체 시스템 역량으로 확장하고 있습니다.
그 중 시각은 “무엇을 보는지”를, 촉각은 “무엇에 닿았는지, 얼마나 힘이 들어왔는지, 슬라이딩이 일어났는지”를 제공하며, 잡기, 꽂기, 돌리기, 압박과 같은 연속적인 작업에서 동작 조정을 함께 지원한다.
그리고 기술 아키텍처 측면에서, 촉각은 상대적으로 독립적인 계산 계층으로 존재하며, 상위 모델을 교체할 수 있다는 점은 촉각 기능이 지속적으로 축적될 수 있음을 의미한다. 특정 세대의 모델에 구속되지 않고, 로봇이 얻는 것은 지속적으로 인지와 제어에 참여할 수 있는 접촉 정보이다.
다른 한쪽에는 데이터가 있다.
샤르파 공동 창업자 리이화인은 퀀텀비트에 “구입한 데이터로는 차이를 만들 수 없다”고 말한 적이 있다.
오늘날의 제품 구조에서는 이 말이 더 쉽게 이해됩니다. 특정 모델이나 데이터 수집 방식에 비해 Sharpa가 중시하는 것은 로봇이 실제 작업에서 지속적으로 “동작—접촉—피드백—수정”의 경험을 쌓고, 그 경험을 다시 모델로 전달하는 것입니다.
이는 작업에서 시작하여 다시 반대로 하드웨어와 모델을 정의하는 경로입니다.
이는 자율주행 대량 생산화의 경험을 거친 샤르파 창립팀이 인지형 지능에서 계속 강조하는 “상업적 범용성”입니다. 다양한 환경과 제품군으로 바뀌었을 때 계속 작동할 수 있는지, 그리고 효율 향상이 구매, 배포, 유지보수, 데이터 비용까지 포함될 수 있는지에 대한 점입니다.
이 관점에서 보면, Sharpa가 이번 IROS에서 주목할 만한 변화는 “또 세 가지 제품을 출시했다”는 것일 수도 없습니다.
이전에 W01 민첩 손이 해결했던 것은 “로봇이 물건을 잡고 잘 조작할 수 있는지”였습니다. D01, W02, AE01 및 DQ가 실제로 적용됨에 따라, Sharpa는 더 본질적인 측면을 계속해서 탐구하고 질문하고 있습니다.
다양한 작업 환경에 맞춰 일반적인 하드웨어 및 기술 요구사항을 정리하고, 실제 업무, 지속적인 배포, 데이터 축적 및 개선을 수행할 수 있는 일반적인 운용 능력을 제공합니다.