신체화된 AI(embodied AI)의 시대에 오신 것을 환영합니다.
우리는 물리적 세계에서의 이해, 계획, 행동에 관한 최첨단 언어 모델의 성능을 측정하는 연구 미리보기인 AA-Robotics v0.1을 출시합니다. v0.1에서는 각 모델에게 6축 로봇 팔(5개 조인트와 그리퍼)과 단순한 목표가 주어집니다. 오늘 첫 8개 과제에 대한 결과를 공개합니다.
우리는 코딩 에이전트 하네스에 탑재된 최첨단 언어 모델들이 최근 간단한 과제를 위해 로봇 팔을 직접 조작할 수 있게 되었음을 발견했습니다. 오늘날 이들은 생산 용도로 사용하기에는 너무 느리고 비용이 많이 들며, 인간 기준선보다 거의 두 자릿수나 뒤떨어집니다. 우리는 이것이 빠르게 바뀌리라 기대합니다.
GPT-6 Astra가 AA-Robotics v0.1에서 1위를 차지했고, GPT-6.1 Sol, Gemini 4 Argon, Claude Opus 5.5가 그 뒤를 이었습니다.
AA-Robotics v0.1 세부 사항:
➤ 우리의 첫 8개 과제는 다양한 능력을 시험합니다: 제어 및 손재주(정밀한 파지와 물체 조작), 공간 추론(물체들이 서로 상호작용하는 방식), 적응성(모델이 예상치 못한 상황에 대응하는 방식)
➤ 모델에게는 간략한 지침만 주어집니다: 로봇 팔에 연결하는 방법(간단한 HTTP API를 통해), 팔의 이름, 시도를 제출하는 방법. 이들은 4대의 카메라를 통해 장면을 볼 수 있고, 코드를 작성하고 실행하여 움직임을 계획하고 전송할 수 있습니다
➤ 모델이 시도를 제출하면, 그 최종 상태가 과제의 통과 기준에 따라 채점됩니다. 통과하면 100점이고, 미완료 시도에는 부분 점수가 주어집니다. 모든 시도는 zero-shot입니다
주요 발견 사항:
➤ GPT 계열이 리더보드 정상을 차지했습니다: GPT-6 Astra가 69점으로, 65점의 GPT-6.1 Sol과 55점의 Gemini 4 Argon을 앞섰습니다. Claude Opus 5.5(49점)와 Claude Fable 5.1(46점)이 그 뒤를 따릅니다
➤ 오늘날의 모델들은 우리 과제에서 놀랍도록 느려서, 각 테이블톱 과제를 완료하는 데 평균 약 30분이 걸립니다
➤ 비용은 크게 다릅니다: GPT-6.1 Sol이 과제당 평균 $1.93로 가장 저렴하고, 가장 비싼 GPT-6 Astra는 $16.36으로 그 8배 이상입니다
➤ 인간과 비교하면, 오늘날 가장 성능이 좋은 최첨단 언어 모델은 약 100배 느리고 약 10배 비쌉니다
추가 결과, 클립, 그리고 AA-Robotics v0.1의 작동 방식은 아래 스레드에서 이어집니다