Une équipe de chercheurs de Microsoft Research et de l'UC Berkeley a publié TokenEconomizer, un contrôleur de coûts open-source pour agents de codage. TokenEconomizer est un plugin qui apprend des sessions passées dans un dépôt pour réduire le gaspillage dans les suivantes. Il fonctionne avec Claude Code, Codex, GitHub Copilot CLI et Pi. Il ne touche ni aux poids des modèles ni au code des agents. Sur 277 tâches SWE-Bench, il a réduit le coût moyen de 18.4% à 30.9% sur 5 configurations agent-modèle.
TL;DR
- Paquet : Un paquet Python en bibliothèque standard et des plugins pour agents, avec 3 mécanismes commutables.
- Fonctionne sur : Toute machine exécutant Claude Code, Codex, Copilot CLI ou Pi avec Python 3.10+. Pas de GPU et pas de clé API propre.
- Performances : Coût moyen SWE-Bench réduit de 18.4% à 30.9%, et moins cher dans les 30 cellules dépôt-configuration.
- Meilleur cas : Coût réduit de 30.9% sur Claude Code avec Opus 4.8 (33.2% en combinaison avec RTK).
- Pire cas : Seulement 6.4% à 9.3% d'économies sur les audits ReposVul ; Pass@1 chute de 1.0 point sur Opus 4.8.
Pourquoi les agents de codage gaspillent-ils des tokens ?
Chaque tour d'agent refacture le prompt système, chaque schéma d'outil chargé et l'historique complet. L'équipe de recherche a profilé 60 tâches SWE-Bench dans 6 dépôts en utilisant Claude Code avec Opus 4.8. Elle a trouvé 3 sources récurrentes de gaspillage :
- Découverte répétée : une fois que 5 tâches précèdent la tâche en cours, 30% des appels d'outils répètent une action antérieure.
- Outils inutilisés : 23 schémas d'outils sont chargés à chaque tour. 16 ne sont jamais appelés, et 3 couvrent 98% des appels.
- Boucles d'échec : 10 exécutions échouées représentaient 17% des tâches mais 32% des dépenses totales.
Elle a également testé 3 stratégies open-source fixes : RTK, Serena et RepoMap d'Aider. Aucune n'était moins chère partout. Les 3 ont réduit le coût sur Django et l'ont augmenté sur SymPy.
Comment fonctionne TokenEconomizer ?
TokenEconomizer est un contrôleur externe qui traite l'agent comme une boîte noire. Il conserve un état par dépôt, construit à partir des traces complétées. Avant chaque tâche, il définit 3 politiques via le prompt, les paramètres des outils et le flux d'événements.
1. Micro-compétences
Un proposeur LLM transforme les résumés de traces en faits de 1 ligne, tels que la commande de test fonctionnelle. Chaque fait comporte des détecteurs regex qui vérifient les traces ultérieures sans appel de modèle. Un fait entre dans le prompt après 3 confirmations sur des tâches aux fichiers modifiés sans chevauchement. Son taux de nécessité doit également rester à 0.4 ou au-dessus. Une contradiction compte comme 5 confirmations, de sorte que les faits erronés sont rapidement retirés.
2. Élagage des outils
Les outils shell, lecture, écriture et édition sont toujours conservés. Les autres outils sont masqués après 3 tâches consécutives sans utilisation, ou lorsqu'un juge LLM les juge sans pertinence. Le catalogue complet revient toutes les 5 tâches pour une ré-audit. Sur Django avec Claude Code, la première requête de la tâche 2 est passée de 43,351 à 16,295 tokens de prompt.
3. Intervention en cas de boucle d'échec
Le contrôleur apprend un budget de tours : 1.25 fois le 90e centile des durées d'exécution réussies. Des vérifications par règles simples signalent les échecs répétés ou les erreurs denses. Un juge LLM décide ensuite si l'agent est bloqué, avec une confiance de 0.7 ou plus. Un agent bloqué reçoit 1 redirection, puis un arrêt si la boucle se reproduit.
Que montrent les résultats SWE-Bench ?
| Configuration | Coût par rapport à la valeur par défaut | Pass@1 par défaut | Pass@1 TokenEconomizer |
|---|---|---|---|
| Claude Code + Sonnet 5 | -23.6% | 74.7 | 76.0 |
| Claude Code + Opus 4.8 | -30.9% | 74.0 | 73.0 |
| Codex + GPT-5.6 Terra | -24.7% | 73.8 | 74.7 |
| Codex + GPT-5.6 Sol | -26.1% | 80.1 | 81.7 |
| Copilot CLI + Sonnet 5 | -18.4% | 75.0 | 77.6 |
Source : arXiv 2610.22732, Tableau 1. Les coûts incluent tous les appels du contrôleur. 3 graines par configuration.
Pass@1 s'est amélioré dans 4 des 5 configurations. Un effort de raisonnement réduit a permis d'économiser des coûts mais a fait chuter le Pass@1 de 1.8 à 10.3 points. RTK seul a augmenté le coût dans 12 des 30 cellules dépôt-configuration, et RepoMap dans 15.
Les économies s'accumulent avec le temps. La plupart des dépôts coûtent plus cher au début, mais tous étaient moins chers dès la sixième tâche. Seul sur Claude Code, l'élagage d'outils a permis d'économiser 13.2 % à 17.7 %, les micro-compétences 11.8 % à 14.3 %, et la protection de boucle 5.4 % à 7.1 %.
Les résultats se sont également confirmés hors de SWE-Bench. Les coûts ont baissé de 16.0 % à 21.2 % sur Web-Bench et de 16.5 % à 19.6 % sur CredData. ReposVul n'a vu que 6.4 % à 9.3 %, car des exécutions plus courtes laissent moins de choses à supprimer.
Comment se compare-t-il aux autres outils d'économie de tokens ?
| Fonctionnalité | TokenEconomizer | RTK | Serena | Aider RepoMap |
|---|---|---|---|---|
| Approche | Apprend des politiques par dépôt à partir des sessions passées | Compresse la sortie des commandes shell | Serveur MCP avec des outils de code au niveau des symboles | Carte classée des symboles du dépôt dans le prompt |
| Apprend des tâches antérieures | Oui | Non | Non | Non |
| Licence | Apache 2.0 | CLI Apache 2.0 ; moteur BUSL-1.1 | GPL-3.0-or-later (MIT pour SolidLSP) | Apache 2.0 |
| Agents | Claude Code, Codex, Copilot CLI, Pi | 18 outils de codage IA | N'importe quel client MCP | Aider |
| Variation du coût moyen SWE-Bench (article, 5 configurations) | -18,4 % à -30,9 % | -8,9 % à +4,5 % | Absent des exécutions principales (augmente le coût groupé dans le profilage) | -6,1 % à +6,5 % |
| Cellules avec coût plus élevé (sur 30) | 0 | 12 | Non divulgué | 15 |
Lignes de coût : article de TokenEconomizer. Licences et affirmations : dépôt ou documentation de chaque projet.
Comment installer TokenEconomizer ?
Le plugin nécessite l'un des 4 agents et Python 3.10 ou plus récent. Sur Claude Code, clonez le dépôt, ajoutez-le comme marketplace, puis exécutez claude plugin install tokeneconomizer@tokeneconomizer. Les données apprises restent en local dans ~/.tokeneconomizer. L'élagage d'outils et la garde de boucle sont activés par défaut. Les micro-compétences sont désactivées par défaut, car le proposant ajoute des appels au modèle.
Points clés à retenir
- TokenEconomizer réduit le coût SWE-Bench de 18,4 % à 30,9 % avec un agent inchangé.
- Il était moins cher dans les 30 cellules dépôt-configuration ; RTK et RepoMap ne l'étaient pas.
- L'élagage d'outils est le plus grand levier isolé, à 13,2 % à 17,7 %.
- Le Pass@1 a augmenté dans 4 des 5 configurations et a baissé de 1,0 point sur Opus 4.8.
- Il est sous Apache 2.0 et s'installe sur Claude Code, Codex, Copilot CLI et Pi.
Découvrez le Paper, GitHub Repo et la Project Page. N'hésitez pas également à nous suivre sur Twitter et n'oubliez pas de rejoindre notre 150k+ML SubReddit et de vous abonner à notre Newsletter. Attention ! êtes-vous sur telegram ? vous pouvez désormais nous rejoindre également sur telegram.
Besoin de vous associer à nous pour promouvoir votre dépôt GitHub OU votre page Hugging Face OU le lancement d'un produit OU un webinar, etc. ? Connectez-vous avec nous
L’article Meet TokenEconomizer : le plugin de Microsoft qui réduit les coûts des agents de codage jusqu’à 30.9 % est appulu en premier sur MarkTechPost.