몸을 통한 AI의 시대에 오신 것을 환영합니다.
우리는 물리 세계에서의 이해, 계획 수립, 행동에 대한 최신 언어 모델 성능을 측정하는 연구 프리뷰인 AA-Robotics v0.1을 출시합니다. v0.1에서는 각 모델이 6축 로봇 팔(5개의 관절과 그리퍼)과 간단한 목표를 처리할 수 있습니다. 오늘 우리는 첫 8가지 작업에 대한 결과를 공개합니다.
우리는 코딩 에이전트에 내장된 국경 언어 모델들이 최근에 간단한 작업을 위해 로봇 팔을 직접 조작할 수 있게 되었다는 것을 발견했습니다. 하지만 현재로서는 생산적 사용에 있어 너무 느리고 비용이 높아서, 인간의 기준보다 거의 2배나 더 떨어지는 수준입니다. 이러한 상황이 빠르게 변할 것으로 예상됩니다.
GPT-6 Astra는 AA-Robotics v0.1에서 1위를 차지했으며, 그 뒤를 GPT-6.1 Sol, Gemini 4 Argon, Claude Opus 5.5가 잇따랐습니다.
AA-Robotics v0.1 세부 정보:
➤ 우리의 첫 8가지 과제는 다양한 능력을 테스트합니다: 조종 및 민첩성(정확한 잡기와 물체 처리), 공간적 추론(물체들이 서로 어떻게 상호작용하는지), 그리고 적응력(모델이 예상치 못한 상황에 어떻게 반응하는지)
➤ 모델들은 간단한 지침만 받습니다: 로봇 팔에 연결하는 방법(간단한 HTTP API를 통해), 팔의 이름, 그리고 시도를 제출하는 방법입니다. 그들은 네 개의 카메라를 통해 장면을 볼 수 있으며, 움직임을 계획하고 전송하기 위한 코드를 작성하고 실행할 수 있습니다.
➤ 모델이 시도를 제출하면, 그 종료 상태는 작업의 통과 기준에 따라 평가됩니다. 통과 시 점수는 100점이며, 불완전한 시도는 부분적인 점수를 받습니다. 모든 시도는 0점입니다.
주요 발견 사항:
➤ GPT 가족이 리더보드에서 선두를 차지합니다: GPT-6 Astra는 69점을 기록하며 GPT-6.1 Sol(65점)과 Gemini 4 Argon(55점)보다 앞서 있습니다. Claude Opus 5.5(49점)과 Claude Fable 5.1(46점)은 뒤처져 있습니다.
➤ 오늘의 모델들은 우리의 작업에 매우 느리며, 각 테이블톱 작업을 완료하는 데 평균적으로 약 30분이 걸립니다.
➤ 비용은 매우 다양합니다: GPT-6.1 Sol은 평균적으로 작업당 1.93달러로 가장 저렴하며, 가장 비싼 GPT-6 Astra는 16.36달러로 이보다 8배 이상 비쌉니다
➤ 인간과 비교했을 때, 오늘날의 최고 성능의 전선 언어 모델은 약 100배 더 느리고 약 10배 더 비싸다
아래 스레드에는 더 많은 결과, 클립 및 AA-Robotics v0.1이 어떻게 작동하는지에 대한 내용이 있습니다.