SenseTime, en collaboration avec plusieurs équipes universitaires et entreprises, a organisé pour le GPT-6-Astra d'OpenAI un grand examen dédié à l'« intelligence incarnée ». Cet examen a été très étendu — couvrant 12 évaluations en simulation et 8 plateformes robotiques réelles — avec pour objectif de déterminer si ce modèle vedette peut réellement faire passer son « cerveau » d'écran à l'action, en lui faisant pousser bras et jambes pour travailler. Le verdict est quelque peu embarrassant : lorsqu'on lui accorde quelques facilités (grâce à l'apprentissage en contexte et à l'assouplissement des limites de pas d'action), le GPT-6-Astra obtient des scores frôlant la note parfaite dans nombre d'évaluations incarnées traditionnelles ; mais dès qu'il est confronté à un robot réel, face à des scénarios exigeant une véritable manipulation, comme le contact de précision ou les tâches de longue haleine, sa fréquence d'erreurs grimpe.
Le véritable problème ne réside pas dans la capacité à bouger, mais dans le fait de savoir si l'on bouge correctement. L'étude indique que le GPT-6-Astra se méprend souvent sur l'état de réussite lors des opérations physiques — il croit avoir saisi ou posé un objet, alors qu'en réalité ce n'est pas forcément le cas ; et une fois qu'il se trompe, il est très difficile de rattraper l'erreur, sans compter que le coût des essais-erreurs lors d'une exécution sur robot réel est vertigineux, ce qui le laisse encore à une bonne distance d'un véritable déploiement opérationnel. Le jugement d'ensemble de l'équipe est le suivant : le GPT-6-Astra a franchi le seuil des capacités incarnées, mais il reste encore nettement éloigné d'une utilisation pratique.
Cette évaluation a aussi eu le mérite de crever la bulle du système d'évaluation incarnée existant lui-même. L'équipe de SenseTime estime que les scores des benchmarks traditionnels sont artificiellement gonflés parce qu'ils sont trop éloignés des besoins réels des foyers, et que les évaluations devraient être réorientées vers des aspects plus proches de la vie quotidienne. En réponse, l'équipe propose sa propre solution : le framework de système incarné SenseNova-RoboRSI. Son astuce consiste à ne pas mettre à jour les poids du modèle de base, mais à s'appuyer sur le retour d'exécution pour permettre au robot de « s'auto-évoluer de manière récursive » et d'optimiser continuellement ses performances ; cette approche a déjà fait ses preuves dans de multiples évaluations en simulation. En une phrase : quand un grand modèle obtient la note parfaite sur les copies mais se montre maladroit dans la réalité, ce n'est peut-être pas seulement le modèle que le secteur doit améliorer, mais aussi la règle avec laquelle on le mesure.