具現化AIの時代へようこそ。
私たちは、物理世界における理解、計画、行動の能力に関するフロンティア言語モデルの性能を測定する研究プレビューであるAA-Robotics v0.1をリリースします。v0.1では、各モデルには6軸ロボットアーム（5つのジョイントとグリッパー）の制御権と単純な目標が与えられています。本日、最初の8つのタスクに関する結果を公開します。
コーディングエージェントのフロンティア言語モデルは、最近、単純なタスクのためにロボットアームを直接操作できるようになった。しかし現在、それらはあらゆる種類の生産利用にはあまりにも遅く、高価すぎる——人間のベースラインよりもほぼ2桁劣っている。この状況が急速に変わると期待される。
GPT-6 AstraはAA-Robotics v0.1で第1位となり、その後にGPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5が続く。
AA-Robotics v0.1の詳細：
➤ 最初の8つのタスクは、さまざまな能力をテストします：制御力と敏捷性（正確な把握と物体の扱い）、空間認知能力（物体が互いにどのように相互作用するか）、そして適応能力（モデルが予期しない状況にどのように応答するか）
➤モデルには簡単な指示しか与えられない：ロボットアームに接続する方法（シンプルなHTTP APIを通じて）、アームの名前、そして試行を送信する方法。4台のカメラを通じてシーンを確認でき、動作を計画し送信するためにコードを書き実行することもできる
➤モデルが試行を行った後、その最終状態はタスクの合格基準に基づいて評価されます。合格なら100点、不完全な試行は部分的な評価が与えられます。すべての試行はゼロショットです。
重要な発見：
➤ GPTファミリーが順位表の首位を占める：GPT-6 Astraは69点で、GPT-6.1 Solが65点、Gemini 4 Argonが55点である。Claude Opus 5.5（49点）とClaude Fable 5.1（46点）は後ろに位置する。
➤ 今日のモデルは私たちのタスクにおいて非常に遅く、各テーブルトップタスクを完了するのに平均して約30分かかります
➤ コストは大きく異なります：GPT-6.1 Solは平均して1件のタスクあたり1.93ドルで最も安く、GPT-6 Astraは最も高く、16.36ドルで8倍以上の価格です
➤ 人間と比べると、今日の最も性能の高いフロンティア言語モデルは約100倍遅く、約10倍高価です
下のスレッドには、さらに多くの結果、クリップ、およびAA-Robotics v0.1がどのように動作するかが掲載されています。