Un nouveau benchmark appelé TasteVal mesure dans quelle mesure les systèmes d’IA conçoivent eux-mêmes des expériences et interprètent les résultats. Les résultats montrent une courbe d’amélioration exceptionnellement abrupte.
Selon Jack Clark, cofondateur d’Anthropic, cette capacité a approximativement doublé tous les trois mois depuis décembre 2025. Le laboratoire de recherche P-Zero Research l’appelle « goût de recherche », ce qui signifie la capacité de choisir les expériences appropriées et d’en tirer les bonnes conclusions. Le meilleur modèle testé a surpassé un groupe de 24 experts humains, pour un coût bien inférieur.
Clark a co-fondé Anthropic et écrit le bulletin d’Import AI. D’après les chiffres, il est maintenant convaincu que l’amélioration récursive automatique (RSI), où les systèmes d’IA développent leurs propres successeurs, pourrait devenir possible dès 2027. Auparavant, il pensait que cela arriverait en 2028.
Le benchmark ne prouve pas que les systèmes d’IA se soient déjà améliorés, car il ne couvre qu’une petite partie du travail scientifique. Cependant, il montre vers où se dirige la discussion : loin du seul rendement du modèle, et vers la question de savoir dans quelle mesure les modèles linguistiques peuvent réaliser du travail de recherche indépendant.
TasteVal ne mesure qu’une partie de la situation
P-Zero Research définit le goût de la recherche comme trois compétences : identifier les questions de recherche qui méritent d’être étudiées, concevoir des expériences pour y répondre, et interpréter correctement les résultats. TasteVal ne teste que les deux dernières compétences. Le choix de la direction de recherche la plus prometteuse est souvent considéré comme l’essence de l’intuition scientifique, mais dans TasteVal, cette décision est déjà prise pour le modèle.
Chacune des huit tâches spécifie un objectif de recherche fixe dans le développement de modèles d’IA, ainsi qu’un score mesurable. Les tâches couvrent des domaines tels que la sélection des données d’entraînement, le pré-entraînement et le ajustement fin des modèles linguistiques, l’entraînement en fonction des préférences humaines, et la défense contre les prompts adversaires.
Le modèle décide quel expérience être exécutée ensuite et utilise les résultats pour guider sa prochaine étape. Afin d’éviter que les compétences en programmation influencent les résultats, un agent de codage fixe exécute toutes les expériences sur une seule GPU Nvidia H100. Chaque exécution se termine après 40 heures de calcul sur la GPU ou 120 heures de temps réel.
Le niveau de base humain provient de 24 experts ayant récemment travaillé chez des entreprises telles que OpenAI, Google DeepMind, Nvidia et Microsoft Research. Ils ont abordé les mêmes tâches, avec au moins deux personnes pour chaque. La meilleure tentative humaine pour chaque tâche a servi de référence.
Recherche du goût mesurée par l'efficacité informatique
Pour rendre la recherche qualitative mesurable, P-Zero Research la transforme en efficacité informatique. La raison est que les calculs nécessaires dans la recherche en intelligence artificielle sont rares, donc choisir les expériences appropriées et interpréter correctement leurs résultats permet d’effectuer moins de tentatives et de progresser davantage avec le même budget.
Le laboratoire s’appuie sur son « modèle AI Futures », qui prédit que la puissance de calcul des expériences deviendra le plus grand obstacle dès que le codage devient automatisé. Ainsi, TasteVal mesure la quantité de calcul qu’un modèle doit effectuer pour correspondre aux scores des experts. Un modèle qui y parvient avec la moitié du calcul possède deux fois plus de goût pour la recherche par cette définition. P-Zero Research appelle ce rapport le multiplicateur de calcul.
Le modèle phare, Anthropic’s Opus 5.5, a atteint un multiplicateur de calcul de 2.3, atteignant des scores de niveau expert avec moins de la moitié du temps de calcul nécessaire. La plage statistique se situe entre 1.15 et 4.37. À l’extrémité basse, le modèle ne serait même pas en avance. Une seule exécution coûtait environ un tiers du coût moyen d’une tentative d’un expert.
Au cours de plusieurs générations de modèles, le multiplicateur de calcul a été presque doublé tous les trois mois depuis décembre 2025. L’incertitude est également importante : le temps nécessaire pour un doublage varie de 1,7 à 5,0 mois.
Dans les années précédentes, l’évolution du goût pour la recherche de modèles s’est développée beaucoup plus lentement. La courbe n’a seulement monté en pente raide autour du passage de 2025 à 2026. Il est impossible de déterminer si cette tendance reste durable à partir d’un seul indicateur, et les auteurs eux-mêmes admettent que leurs résultats pourraient exagérer « la vitesse à laquelle le goût pour la recherche s’améliore ». Les tâches peuvent être vérifiées rapidement et coûteusement, ce qui est le type de tâche que les laboratoires d’IA trouvent le plus facile à optimiser. Le groupe de comparaison ne comprenait pas non plus de chercheurs de premier plan.
Clark avance sa ligne temporelle
Clark a longtemps considéré la créativité comme le facteur clé qui permet aux systèmes d’IA d’améliorer eux-mêmes rapidement. Plus tôt cette année, il a écrit que les modèles n’avaient pas montré cette capacité à une échelle révolutionnaire. Il pointe maintenant vers les progrès en avancées mathématiques et en benchmarks comme TasteVal comme signes que cela change.
Dans un article long en mai, Clark avait donné des chiffres plus prudents. Il a estimé les chances qu’un système entraîne indépendamment un successeur plus fort environ 60 % à la fin de 2028 et 30 % en 2027. Ce pronostic provient de quelqu’un qui a cofondé l’entreprise dont le modèle occupe la première place sur les benchmarks, ce qui ajoute une couche d’influence biaisée à la prévision.
Les critiques ont rejeté précisément cette capacité
TasteVal est important car il mesure précisément la capacité que les sceptiques avaient identifiée comme un obstacle à une avancée majeure en IA. Le chercheur en IA Herbie Bradley a réfuté l’essai de Clark de mai, affirmant que bien que les modèles puissent probablement assumer le travail des chercheurs juniors, des compétences plus exigeantes telles que le goût pour la recherche, la créativité et une planification de recherche cohérente à long terme ne sont pas en vue.
En ce qui concerne la planification et l’évaluation des expériences, TasteVal remet en question cette évaluation, bien qu’il ne dise rien sur le choix d’un programme de recherche à long terme.
L’écart pratique qui persiste est illustré dans une étude sur le développement de l’IA utilisant des agents IA menée par une équipe de l’Université Fudan. Les chercheurs ont analysé le développement de leur propre modèle et ont constaté que les agents IA contribuaient jusqu’à 55 % des propositions méthodologiques, mais les humains étaient toujours responsables de plus de 85 % des décisions finales. Les auteurs ont noté qu’il reste incertain comment l’IA peut générer diverses directions de recherche et évaluer leur valeur avant que les résultats ne soient disponibles, et c’est précisément ce type de décision que TasteVal prend en compte pour les modèles.
Le débat se déplace
Le benchmark survient au milieu d’un débat que les principaux laboratoires d’IA ont eux-mêmes initié. En juin, Anthropic a écrit que l’amélioration récursive de Claude n’a pas encore été réalisée, mais que « cela pourrait se produire plus tôt que la plupart des institutions ne s’y préparent ». Dario Amodei, PDG d’Anthropic, demande désormais une ralentissement contrôlé dans le développement de l’IA, tandis que OpenAI reconnaît que l’autonomisation complète du RSI n’est pas encore possible et affirme qu’elle ne devrait être poursuivie que si un contrôle humain est garanti.
TasteVal modifie ce qui est considéré comme progrès. Pendant longtemps, l’attention était portée sur la capacité des modèles à résoudre correctement des tâches bien définies telles que les problèmes mathématiques ou les défis de codage, mais aujourd’hui, la question est de plus en plus celle de savoir si ils peuvent prendre les décisions qui poussent la recherche en avant.
Si la tendance mesurée par P-Zero Research se confirme dans d’autres tests, les implications sont doubles. Le développement de l’IA s’accélérera et deviendra moins coûteux, mais en même temps, une part croissante des recherches deviendra plus difficile à vérifier par les humains, car les modèles planifieront et évalueront eux-mêmes leurs expériences.