IT之家 11월 7일 소식에 따르면, 현지 시간으로 11월 4일, 애플 연구팀은 예비 인쇄 플랫폼 arXiv에 “Simulation-based Perceptive Humanoid Motion”이라는 논문을 제출하여 인간형 로봇의 자율 제어 시스템 HALO를 공개했습니다.
연구팀은 동작 생성, 동작 추적, 작업 스케줄링 및 시뮬레이션 및 실제 로봇 운용 등의 과정에 관련된 데이터 생성, 모델 훈련, 배포 코드도 공개했습니다.
착지 단계에서, 연구팀은 유쥐 기술의 G1 인간형 로봇을 사용했습니다. 등판에는 전용 3D 프린팅 보호 외부가 장착되어 있으며, 내장된 Mac mini（M4 Pro 칩, 64GB 통합 메모리）은 기기 내부에서 실시간으로 계산량이 많은 Orchestrator(VLM)와 Motion Generator(DiT)를 처리합니다. G1에 내장된 보드 칩은 고주파수로 작동하는 Tracker(RL 전략 네트워크)를 담당합니다.
작업 실행 시, HALO는 세 개의 레이어가 협력하여 제어됩니다. 가장 상위 레이어는 시각 언어 모델(VLM) 기반의 작업 조율 모듈로, 기본적으로 Qwen3.6-35B-A3B를 사용하며, 시스템은 API를 통해 클라우드 모델을 호출할 수도 있습니다. 중간 레이어의 동작 생성 단계는 또 다른 Qwen3.5-2B 모델을 사용합니다. 가장 하위 레이어는 강화 학습 및 전략 디스터블링 등의 과정을 거쳐 훈련된 동작 추적기로, 초당 50회의 빈도로 작동합니다.
논문에 따르면, 연구팀은 미리 스캔하거나 지도를 그리지 않은 6개의 실제 환경에서 360회의 개별 작업 테스트를 진행했으며, 평균 성공률은 91%였습니다.
긴 시퀀스 복합 작업에 대해 단일 실제 환경에서 10회의 테스트를 진행했으며, 3가지 조합의 평균 성공률은 70%였습니다. 그 중 가장 복잡한 “몸을 숙여 장애물을 통과하고 목표로 이동하며 상자를 밀어내는” 작업은 10회의 테스트 중 5회 성공했으며, 성공률은 50%였습니다.
보도에 따르면, 연구팀은 250개의 NVIDIA H100 GPU를 사용하여 약 48시간에 걸쳐 주요 훈련 데이터를 생성했습니다. 동작 생성기는 모방 학습을 통해 훈련되었으며, 64개의 B200 GPU를 사용했습니다. 동작 추적기는 강화 학습 및 전략 디포메이션 등의 과정을 거쳐 훈련되었으며, 4개의 H100 GPU를 사용했습니다.
하지만 시뮬레이션으로 생성된 데이터는 완전히 인공적 참여에서 벗어나지 못했습니다. 팀은 새로운 물리 작업에 대해서는 여전히 인간이 지시문을 작성하고 동작의 핵심 프레임을 설계해야 하며, 일부 동작에는 인간 영상이나 동영상 캡처 자료가 사용된다고 밝혔습니다.
연구팀은 동시에, 현재 로봇은 주로 시각 인지에 의존하고 있어 접촉 상황을 직접 인지하는 데 어려움이 있다고 지적했습니다. 물체가 카메라 시야에서 벗어지거나 가려질 때, 접촉과 관련된 작업 성능이 저하됩니다. 촉각 인지를 추가하는 것은 향후 개선 방향 중 하나가 될 것입니다.
IT之家 관련 링크: