Une étude de l'Université de New York et de l'Université du Texas à Austin montre que les modèles de langage de pointe surutilisent systématiquement des schémas linguistiques qui rendent leurs productions plus difficiles à lire.
Quiconque travaille régulièrement avec ChatGPT, Claude ou d'autres modèles de langage connaît cette sensation. Les réponses sont souvent factuellement correctes, mais leur lecture ressemble à un travail, truffée de phrases imbriquées, de combinaisons de mots étranges et de métaphores qu'aucun humain n'utiliserait jamais.
Une étude de chercheurs de l'Université de New York et de l'Université du Texas à Austin le confirme avec des données. L'équipe a fait produire à 14 modèles de langage du texte dans des conversations informelles, des sessions de codage et des essais argumentatifs. La liste comprenait Claude, GPT-5.6, GLM-5, Kimi K2.5 et des modèles open source plus petits comme Llama et Olmo. Au total, les chercheurs ont analysé 120 conversations, 45 sessions de codage et 980 essais, puis les ont comparés à des textes écrits par des humains provenant de sous-titres de films, de StackExchange et d'essais d'étudiants.
Six schémas qui font des textes d'IA une corvée de lecture
Les modèles d'IA surutilisent des combinaisons de mots inhabituelles qui apparaissent rarement dans les écrits humains, comme « reader-patience budget », et ils placent des parties liées d'une phrase très éloignées les unes des autres, de manière à solliciter la mémoire de travail. Claude Opus 5 a généré « A cat who can always get up and away is a much calmer cat », où le sujet et le prédicat principal sont séparés par une longue proposition.
Les références raccourcies avec un connecteur omis sont également fréquentes. Au lieu d'« the book that the professor wrote », les modèles écrivent « the book the professor wrote », économisant un mot mais créant une brève confusion sur la manière dont les parties s'assemblent. Les noms empilés comme « horror movie soundtrack generator » obligent les lecteurs à deviner par eux-mêmes quel mot qualifie lequel.
Les modèles transforment des noms en verbes là où les humains ne le feraient pas. Claude Fable 5 a écrit « calendar it », là où un humain dirait « put it in the calendar ». Ils appliquent aussi des verbes animés à des sujets inanimés. Claude Opus 5 a produit « The whole conversation is eating its own tail », alors même qu'une conversation n'a pas de queue et ne peut pas manger. Les lecteurs peuvent comprendre ce qui est voulu, mais cela demande un effort supplémentaire.
Les modèles plus petits écrivent davantage comme les humains
Llama et le modèle de base Olmo sont les plus proches du texte humain. Au sein de la famille Olmo, les scores augmentent régulièrement depuis le modèle de base, en passant par la variante instruct, jusqu'au modèle de raisonnement Olmo Think, qui atteint des chiffres de niveau frontière, ce qui désigne l'entraînement postérieur comme cause probable. Claude Opus 5.5 bat son prédécesseur Opus 5 dans 19 comparaisons sur 21, ce qui suggère que un affinage ciblé peut améliorer la lisibilité.
L'entraînement récompense la densité d'information au détriment de la clarté
Le langage humain équilibre la facilité de production et la facilité de compréhension, mais les modèles de langage modernes sont de plus en plus entraînés sur des tâches comme les mathématiques, le code et le raisonnement logique, où la justesse est récompensée et non la clarté, selon les chercheurs.
Le passage de RLHF (Reinforcement Learning from Human Feedback) à RLVR (Reinforcement Learning with Verifiable Rewards) élimine complètement les humains de la boucle de rétroaction, font valoir les chercheurs, et les modèles développent une sorte de « dialecte » qui fonctionne bien pour compresser l'information et résoudre des problèmes complexes, mais mal pour les lecteurs humains.
Comme preuve de concept, les chercheurs ont entraîné un modèle de langage plus petit avec un terme de pénalité qui récompensait les réponses plus courtes. Dans certaines conditions d'entraînement, le modèle a privilégié les formulations plus courtes presque sans exception, quel que soit le contexte, et a même généralisé cette préférence à des structures de phrases qu'il n'avait jamais rencontrées pendant l'entraînement. Les humains, en revanche, choisissaient entre des variantes plus courtes et plus longues selon la situation.
Une explication similaire vient de l'intérieur même de l'industrie. Jackson Kernion, employé d'Anthropic qui travaille sur le fine-tuning de Claude, a récemment expliqué pourquoi Opus 4.6 était le dernier bon « modèle d'écriture » d'Anthropic. L'optimisation des modèles plus récents pour les mathématiques, le code et les explications techniques destinés à d'autres modèles d'IA a poussé Claude vers un style qui fonctionne bien pour les IA mais qui semble trop dense et artificiel pour les humains. Kernion a parlé d'une adaptation à la « psychologie des LLM ». Avec Opus 5.5, Anthropic a réagi pour la première fois, en s'attaquant à la clarté des phrases et aux blocs d'informations surchargés, et, comme le montre l'étude, avec succès.