Bienvenido a la era de la IA incorporada.
Estamos lanzando AA-Robotics v0.1, nuestra previsualización de investigación que mide el rendimiento del modelo de lenguaje fronterizo en la comprensión, planificación y acción en el mundo físico. En v0.1, cada modelo recibe el control de un brazo robótico de 6 ejes (5 articulaciones y un agarrador) y un objetivo sencillo. Hoy estamos publicando los resultados para nuestras primeras ocho tareas.
Descubrimos que los modelos de lenguaje fronterizos en los agentes de codificación han logrado recientemente ser capaces de manipular directamente los brazos robóticos para tareas sencillas. Hoy en día, son demasiado lentos y costosos para cualquier tipo de uso en producción: casi dos órdenes de magnitud peor que las líneas base humanas. Esperamos que esto cambie rápidamente.
GPT-6 Astra ocupa el primer lugar en AA-Robotics v0.1, seguido por GPT-6.1 Sol, Gemini 4 Argon y Claude Opus 5.5.
Detalles de AA-Robotics v0.1:
➤ Nuestras primeras ocho tareas evalúan una serie de capacidades: control y agilidad (recogida precisa y manejo de objetos), razonamiento espacial (cómo los objetos interactúan entre sí) y adaptabilidad (cómo los modelos responden a lo inesperado)
➤ Los modelos reciben solo instrucciones breves: cómo conectarse al brazo robótico (vía una simple API HTTP), el nombre del brazo y cómo presentar un intento. Pueden visualizar la escena a través de cuatro cámaras y escribir y ejecutar código para planificar y enviar movimientos
➤ Una vez que un modelo realiza una tentativa, su estado final se evalúa según los criterios de aprobación del tarea. Una aprobación otorga 100 puntos; una tentativa incompleta recibe crédito parcial. Todas las tentativas obtienen un puntaje de cero-shot.
Conclusiones clave:
➤ La familia GPT está en la cima de la clasificación: GPT-6 Astra obtiene 69 puntos, por delante de GPT-6.1 Sol con 65 puntos y Gemini 4 Argon con 55 puntos. Claude Opus 5.5 (49) y Claude Fable 5.1 (46) están detrás.
➤ Los modelos de hoy son increíblemente lentos para nuestras tareas, tardando en promedio ~30 minutos en completar cada tarea de mesa
➤ El costo varía ampliamente: GPT-6.1 Sol es el más barato, con un promedio de $1.93 por tarea; GPT-6 Astra, el más caro, cuesta $16.36, más de ocho veces tanto.
➤ En comparación con un ser humano, los mejores modelos de lenguaje fronterizo de hoy son ~100 veces más lentos y ~10 veces más costosos
Más resultados, clips y información sobre cómo funciona AA-Robotics v0.1 se encuentran en el hilo de abajo