상탕은 여러 대학 및 기업 팀과 함께 OpenAI의 GPT-6-Astra에 대해 '구체화 지능'을 겨냥한 대시험을 치렀다. 이 시험은 폭이 매우 넓었다—12개 시뮬레이션 평가와 8개 실제 로봇 플랫폼을 아우르며, 그 목적은 이 스타 모델이 과연 화면 속 '두뇌'에서 진정으로 손발을 길러 일을 할 수 있는지 확실히 확인하는 것이었다. 결론은 다소 곤란하다: 별도의 도움(문맥 내 학습 활용, 행동 스텝 수 제한 완화)을 주자 GPT-6-Astra는 다수의 전통적 구체화 평가에서 거의 만점에 가까운 성적을 기록했다. 그러나 막상 실제 로봇에 적용되어 정밀 접촉, 장기 과제처럼 실전 조작이 필요한 장면에 직면하면 실수 빈도가 올라갔다.
진짜 문제는 '움직일 줄 아는가'가 아니라 '자신이 제대로 움직였는지 아는가'에 있다. 연구진은 GPT-6-Astra가 물리적 조작에서 성공 상태를 자주 오판한다고 지적했다—잡았다고, 잘 놓았다고 생각하지만 실제로는 그렇지 않을 수 있다. 그리고 한 번 잘못되면 복구가 상당히 어려운 데다, 실기 실행의 시행착오 비용이 터무니없이 높아 진정한 실무 배치까지는 만만치 않은 길이 남아 있다. 팀의 종합 판단은 다음과 같다: GPT-6-Astra는 이미 구체화 능력의 문턱을 넘었지만, 실용화까지는 여전히 뚜렷한 거리가 있다.
이번 평가는 기존 구체화 평가 체계 자체의 거품도 덤으로 터뜨렸다. 상탕 팀은 전통적 벤치마크 점수가 부풀려진 이유가 실제 가정의 수요와 너무 동떨어져 있기 때문이라고 보며, 평가가 보다 일상 생활에 가까운 방향으로 조정되어야 한다고 주장했다. 이에 대한 대응으로 팀은 자체 해법인 SenseNova-RoboRSI 구체화 시스템 프레임워크를 내놓았다. 그 기발함은 기반 모델 가중치를 업데이트할 필요 없이, 실행 피드백을 통해 로봇이 '재귀적 자기 진화'를 하며 성능을 지속적으로 최적화한다는 점이다. 이 접근 방식은 이미 다수의 시뮬레이션 평가에서 효과가 검증되었다. 한마디로, 대형 모델이 시험지에서 만점을 받고 현실에서는 서툴러 보일 때, 업계가 보완해야 할 것은 어쩌면 모델만이 아니라 그것을 재는 자일 수도 있다.