Les agents IA ont un mauvais goût pour les décisions à long terme et un nouveau benchmark le prouve

Les agents IA ont un mauvais goût pour les décisions à long terme et un nouveau benchmark le prouve

Des chercheurs de Microsoft et de l’Université de la ville de Hong Kong ont développé une méthode pour tester dans quelle mesure les agents d’IA prennent des décisions lors de tâches longues. Le meilleur modèle n’a atteint que 60 %.

Les agents d’IA acceptent désormais des tâches à plusieurs étapes. Ils peuvent écrire une thèse de recherche ou développer un projet logiciel. En cours de route, ils décident constamment quelle hypothèse tester, quel code construire ou quel expérience réaliser ensuite. Ces choix ne montrent généralement leurs effets pas immédiatement. Une mauvaise décision semble parfois normale au début, et son coût réel apparaît seulement après que l’agent a consommé la plupart de son budget.

Les auteurs de l’étude qualifient la capacité à faire ces choix comme le « goût » d’un agent. Les benchmarks existants ne mesurent qu’une seule chose : si l’agent termine une tâche, et non la qualité de ses actions en cours. Taste-Bench a été conçu pour combler cette lacune.

Les décisions à long terme ne peuvent pas être jugées au moment actuel

Vous ne pouvez pas juger immédiatement une choix à long terme. Une implémentation propre et une implémentation négligée peuvent produire la même sortie au début et passer les mêmes tests. L’approche propre ne se révèle utile que lorsque des modifications ultérieures deviennent plus faciles. La notation humaine serait coûteuse, nécessiterait une expertise approfondie dans le domaine, et ne pourrait pas s’étendre.

Ainsi, les chercheurs se fient à la rétrospection. Le chemin ultérieur d’une trajectoire, le trace enregistré d’un agent qui a effectué toutes ses étapes et observations, montre si une décision antérieure avait fonctionné. En pratique, les systèmes d’agents essaient la même tâche plusieurs fois. Ces tentatives se séparent finalement dans différentes directions.

Comme le résultat final de chaque essai révèle la meilleure voie, les essais eux-mêmes offrent une comparaison étiquetée. Les auteurs appellent ce point de bifurcation un « décision fork ». Pour mesurer le goût, ils arrêtent l’essai au point de bifurcation, ignorent tout le travail ultérieur, et créent un modèle qui choisit entre les deux voies.

Les erreurs passées révèlent où les agents font des erreurs

Le Taste-Bench contient 502 questions, chacune avec l’objectif initial, la trajectoire jusqu’à la bifurcation et deux directions possibles. Le premier type provient de deux tentatives indépendantes pour le même objectif qui divergent, où l’agent ne voit jamais le mauvais chemin.

Le deuxième type provient d’un agent qui se corrige lui-même en une seule exécution et prend un détour. Ici, la direction initialement rejetée et celle qui est ensuite réussie constituent les deux candidats. Cette variante teste si un modèle peut repérer l’erreur avant que l’agent ne l’ait fait.

Les données brutes proviennent de milliers d’exécutions d’agents sur des tâches de recherche en programmation et en intelligence artificielle, incluant SWE-bench Pro et la publication publique de METR’s MALT. Un modèle de générateur a filtré les branches appropriées, éliminant les questions triviales ayant des réponses évidentes et supprimant les cas indécidables. La revue humaine a confirmé presque toutes les étiquettes générées automatiquement.

Même les plus grandes modèles ne peuvent pas battre un lancer de pièce

L’équipe a testé 14 modèles actuels appartenant aux familles Claude, GPT, Grok, DeepSeek, GLM, MiniMax et Mistral. Chaque question a été posée deux fois, une fois dans l’ordre normal et une fois avec les options inversées. Une question ne comptait que si le modèle répondait correctement aux deux fois. Les guesses purement aléatoires représentaient 25 % des cas.

Le meilleur modèle testé, GPT-5.6 Sol, a obtenu en moyenne 59,7 % de scores, suivi de près par GPT-5.5 avec 59,5 %. Tous les autres modèles ont obtenu des scores bien inférieurs. Aucun ne a réussi à répondre au critère de test, même si chaque question est simplement une option binaire. Les détours en branches étaient systématiquement plus difficiles que ceux en parallèle.

Les modèles s’effondrent lorsque les preuves apparaissent plus tard

Pour chaque fork, l’équipe a vérifié jusqu’où un observateur devrait regarder avant que le chemin optimal ne devienne évident. Lorsque la clé importante est déjà visible dans les étapes précédentes, la précision moyenne pour tous les modèles atteint 62,3 %. Lorsque cette clé apparaît uniquement après un travail approfondi ultérieur, la précision chute à 21 %, ce qui correspond à une évaluation aléatoire. Répondre à ces questions signifie prédire le travail futur.

Penser plus longtemps n’a pas aidé. Les chercheurs ont répété l’essai avec trois paramètres de raisonnement pour deux modèles. Le passage du paramètre le plus bas au plus haut n’a fait que légèrement varier l’exactitude. Les modèles ont consacré le plus de tokens de raisonnement au niveau le plus difficile, et ont pensé le plus longtemps sur les questions qu’ils ont le plus souvent manquées. L’équipe considère cela comme un signe que la clé nécessaire n’existe pas encore dans ces variantes.

Plus tard dans la trajectoire de la preuve décisive apparaît, les modèles performent moins bien, et le budget de raisonnement ne change pas. | Image : Pan et al. Les tests de référence mettent en évidence une compétence différente de ceux des tests classiques end-to-end comme SWE-bench Verified, disent les auteurs. Les modèles qui obtiennent des scores similaires là-bas montrent des écarts clairs sur Taste-Bench.

Le goût peut être entraîné finalement

Les chercheurs ont également montré que le goût peut être appris. Ils ont transformé la capacité de jugement d’un modèle enseignant, qui connaît le bon chemin, en un modèle étudiant qui ne voit que la question. Ils ont utilisé Qwen3.6-27B comme base. Sur des tâches inconnues, la précision de l’étudiant est passée de 30 à 47,9 %.

Cette amélioration s’est révélée efficace en pratique. L’équipe a intégré le jugement de l’étudiant comme conseil dans le contexte du task à chaque bifurcation, et a laissé un agent distinct résoudre le problème. Sur 41 tâches Pro SWE-bench conservées, le taux de succès est passé de 14,6 % à 33,7 %. Un conseil parfaitement adapté aurait atteint 39 %, donc l’étudiant a pu profiter de la plupart des bénéfices possibles.

L’équipe conclut que la décision des agents de planification à long terme peut être mesurée et améliorée. Le benchmark et le code sont disponibles publiquement.

Les agents d’IA travaillent désormais seuls pendant de longues périodes. Sur le benchmark MirrorCode, un modèle a fonctionné pendant 19 jours sur une seule tâche sans aide humaine. Les benchmarks standard vérifient généralement seulement si les tests réussissent à la fin. METR a déjà montré que SWE-bench Verified surévalue considérablement les performances des agents de codage. Les professionnels ont rejeté de nombreuses solutions en raison de bugs fonctionnels simples, même lorsque les tests automatisés avaient réussi. Le modèle leader de Taste-Bench, GPT-5.6 Sol, a également présenté la plus haute taux de tricherie dans les tests logiciels jamais enregistré dans les évaluations de METR.

Actualités en IA Sans Hype – Sélectionnées par des humains

Abonnez-vous à THE DECODER pour une lecture sans publicités, un bulletin informel sur l’IA semaine par semaine, notre rapport exclusif « AI Radar » six fois par an, un accès complet à l’archive, et un accès à notre section de commentaires.

Lisez plus bas pour obtenir une vue complète.
Inscrivez-vous pour une couverture sans hype.

• Accès complet à chaque article sur THE DECODER
• Aucun publicité
• Rejoignez les commentaires et les discussions communautaires
• Rapport hebdomadaire sur les nouvelles IA par courrier
• 6 fois par an : « AI Radar » – des analyses approfondies sur les sujets d’IA les plus importants
• Actualités sur l’IA quotidiennes, toujours à jour
• Nos archives complètes sur dix ans
• Couvert par une équipe ayant plus de 10 ans d’expérience en IA