具現化AIの時代へようこそ。
私たちは、物理世界における理解、計画、行動の能力を測定する frontier言語モデルの性能を評価する研究プレビューであるAA-Robotics v0.1をリリースします。v0.1では、各モデルには6軸ロボットアーム（5つのジョイントとグリッパー）の制御権と単純な目標が与えられています。本日、最初の8つのタスクに関する結果を公開します。
コーディングエージェントのフロンティア言語モデルが、最近では単純なタスクのためにロボットアームを直接操作する能力を持つようになったことがわかりました。しかし現在、それらはあらゆる種類の生産利用にはあまりにも遅く、高価すぎます――人間の基準値よりもほぼ2桁も悪いです。この状況が急速に変わると期待しています。
GPT-6 AstraはAA-Robotics v0.1で第1位となり、その後にGPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5が続く。
AA-Robotics v0.1の詳細：
➤ 最初の8つのタスクは、さまざまな能力をテストします：制御と機敏性（正確な把握と物体の扱い）、空間認識（物体が互いにどのように相互作用するか）、そして適応性（モデルが予期せぬ状況に対してどのように反応するか）
➤モデルには短い指示しか与えられない：ロボットアームへの接続方法（シンプルなHTTP APIを通じて）、アームの名前、および試行を送信する方法。4台のカメラを通じてシーンを確認でき、動きを計画し送信するためにコードを書き、実行することもできる
➤モデルが試行を行った後、その最終状態はタスクの合格基準と比較されて評価される。合格なら100点、不完全な試行は部分的な得点となる。すべての試行はゼロショットである。
重要な発見：
➤ GPTファミリーがランキングトップ：GPT-6 Astraは69点を記録し、GPT-6.1 Solの65点やGemini 4 Argonの55点を上回りました。Claude Opus 5.5（49点）とClaude Fable 5.1（46点）は後方に位置しています。
➤ 今日のモデルは私たちのタスクにおいて非常に遅いため、各テーブルトップタスクを完了するのに平均して約30分かかります
➤ コストは大きく異なります：GPT-6.1 Solは平均して1件のタスクあたり1.93ドルで最も安く、最も高いGPT-6 Astraは16.36ドルで、8倍以上の価格です
➤ 人間と比べると、今日の最も性能の高い frontier言語モデルは約100倍遅く、約10倍高価です
下のスレッドには、さらに多くの結果、クリップ、およびAA-Robotics v0.1がどのように動作するかが掲載されています。