商湯は複数の大学・企業チームとともに、OpenAIのGPT-6-Astraに「具身知能」向けの大試験を課した。この試験は範囲が非常に広く——12項目のシミュレーション評価と8つの実ロボットプラットフォームをカバーし、この注目のモデルが画面の中の「脳」から、本当に手足を生やして働けるのかを見極めることが目的だ。結論はやや気まずいものに：ちょっとした手加減（コンテキスト学習の活用、動作ステップ数制限の緩和）を与えた状態では、GPT-6-Astraは多くの従来型具身評価でほぼ満点に近い成績を叩き出した。しかし実際のロボットに載せると、精密な接触や長時間タスクといった本物の操作力が求められる場面では、ミスの頻度が急上昇した。
本当の問題は「動けるかどうか」ではなく、「自分の動きが正しかったかを分かっているか」にある。研究は、GPT-6-Astraが物理的操作において成功状態を誤判定しがちだと指摘する——掴んだ、置いたと自信満々でも、実際はそうでないことがある。しかも一度間違えると修正が非常に難しく、実機での実行は試行錯誤のコストが恐ろしく高いため、本当に現場で稼働できる状態からはまだかなり遠い。チームの総合評価はこうだ：GPT-6-Astraはすでに具身能力の敷居は越えたものの、実用化までにはまだ明白な距離がある。
この評価は、既存の具身評価体系そのもののバブルも突き崩した。商湯チームは、従来のベンチマークスコアが水増しされているのは、現実の家庭のニーズから遠すぎるためで、評価は日常生活に近い方向へ調整されるべきだと考える。その応答として、チームは自らの解決策——SenseNova-RoboRSI具身システムフレームワークを打ち出した。その工夫は、基盤モデルの重みを更新する必要がなく、実行フィードバックによってロボットに「再帰的な自己進化」を起こさせ、パフォーマンスを継続的に最適化できる点にある。このアプローチはすでに複数のシミュレーション評価で効果が検証されている。ひとことで言えば、大モデルが試験用紙で満点を取りながら現実では不器用な振る舞いをするなら、業界が補うべきはモデルだけではなく、それを測る物差しもなのかもしれない。