GPT-6-Astra résout 49 des 50 problèmes de recherche en physique pour 2,40 $ pièce

GPT-6-Astra résout 49 des 50 problèmes de recherche en physique pour 2,40 $ pièce

Un nouveau benchmark montre que les meilleurs agents d'IA peuvent résoudre des calculs de physique théorique avec autant de précision que les meilleurs spécialistes de chaque sous-discipline. Les chercheurs à l'origine de ce travail estiment qu'un sens du "goût" absent est l'une des raisons pour lesquelles les percées ne se sont pas encore produites.

Trente-cinq chercheurs issus d'institutions dont l'International Centre for Theoretical Sciences (ICTS), l'université Harvard, la KU Leuven et Google DeepMind ont publié TheoPhysEval. Le benchmark contient 50 problèmes de recherche inédits en physique théorique avec des réponses vérifiables. Selon les auteurs, un expert de premier plan du sous-domaine concerné aurait besoin d'environ un jour ou moins pour résoudre un problème typique sans l'aide de l'IA. Des spécialistes de domaines voisins prendraient beaucoup plus de temps.

L'équipe a testé des agents d'IA disponibles dans le commerce et ne leur a donné aucun indice humain. GPT-6-Astra, exécuté dans l'environnement de codage Codex d'OpenAI, est arrivé en tête. Il a trouvé la bonne réponse pour 49 des 50 problèmes, soit 98 pour cent, à un coût moyen inférieur à 3 $ par problème et à un peu moins de 116 $ pour l'ensemble du benchmark.

Le benchmark teste le travail de recherche routinier, pas les grands défis

La collection omet délibérément les grandes questions ouvertes et se concentre sur ce que les auteurs appellent des problèmes "turn-the-crank", où les chercheurs appliquent des méthodes connues à une question légèrement modifiée. Les contributeurs ont souvent modifié quelques valeurs dans un calcul tiré de l'un de leurs propres articles récents afin que le nouveau résultat ne puisse pas être deviné à partir de l'ancien. Selon les chercheurs, des problèmes de ce type sont souvent confiés à des doctorants comme première étape dans la recherche.

Un exemple tiré de la recherche sur les trous noirs montre à quel point ces problèmes restent exigeants. Le résoudre signifie trouver un article plus ancien, transposer ses équations d'un espace-temps à cinq dimensions vers un espace-temps à quatre dimensions, puis calculer le résultat avec un programme sur mesure. Le coordinateur Suvrat Raju, co-auteur de l'article plus ancien, a eu besoin d'environ un jour. Les auteurs estiment qu'avant l'arrivée des agents modernes, seule une poignée d'experts disposait à la fois des connaissances en physique et de l'expérience de ces méthodes de calcul. Même eux auraient eu besoin de plusieurs jours.

Les problèmes couvrent onze sous-domaines de la physique théorique, des écoulements fluides et des processus biologiques à la physique des particules et à la cosmologie. Chaque agent a passé le test deux fois, une fois dans des conditions réalistes avec recherche web et une fois en isolement sans accès à Internet.

Opus 5.5 d'Anthropic, exécuté dans Claude Code, s'est classé deuxième avec 92 pour cent. Gemini 3.8 Flash de Google a obtenu 68 pour cent, tandis que les modèles à poids ouverts DeepSeek-V4.1-Flash et GLM 5.3 ont atteint 54 et 42 pour cent. Les modèles plus faibles ont parfois commis des erreurs qu'un expert aurait repérées immédiatement. Sur le problème du trou noir, Gemini et GLM ont copié les formules de l'article plus ancien sans les modifier lors de la run avec recherche web. Ces formules s'appliquent à cinq dimensions, et non aux quatre dimensions requises.

L'accès à Internet a fait une différence étonnamment faible. Sans recherche web, Astra et Opus ont chacun obtenu 92 pour cent. De nombreux problèmes dépendent de formules issues d'articles de recherche que les modèles n'ont généralement pas reçues. Les auteurs y voient un signe que les principaux modèles de langage ont en réalité mémorisé de vastes pans de la littérature de physique théorique.

Avec la recherche web, Astra a résolu tout sauf un problème qui a bloqué tous les modèles. Il demandait une équation produisant une courbe donnée. La solution des experts repose sur des formes mathématiques particulières qui ne comptent comme l'équation différentielle requise qu'au sens large. Les auteurs admettent que le problème peut sembler "injuste", mais ils le jugent réaliste parce que les chercheurs doivent souvent déduire la physique sous-jacente de données imprécises.

Plusieurs échecs de l'IA se sont révélés être des défauts du corrigé

Pour plusieurs problèmes, des relances auprès des experts ont révélé de petites erreurs difficiles à repérer dans leurs solutions de référence. Une fois celles-ci corrigées, la réponse d'Astra était correcte à chaque fois.

Ce schéma pourrait aussi expliquer une contradiction apparente. Les agents obtiennent de meilleurs résultats sur TheoPhysEval que sur d'autres benchmarks de physique, tels que CritPt, alors même que les auteurs considèrent leurs propres problèmes comme plus difficiles en moyenne. Une étude récente a révélé que certains benchmarks de physique théorique sont évalués de manière incorrecte et que, dans certains cas, ils sous-estiment gravement ce que les modèles peuvent faire.

Quiconque souhaite vérifier les résultats peut télécharger les problèmes et la configuration de test sous forme de jeu de données sur Hugging Face.

Pourquoi de forts résultats en calcul n'ont pas mené à des percées en physique

Les auteurs écrivent que certains des modèles actuels les plus puissants ont peut-être déjà dépassé les meilleurs chercheurs humains sur des calculs concrets, même dans des domaines spécialisés. Ils qualifient cela d'étape majeure.

L'impact est encore plus visible en mathématiques, notent-ils, où des agents d'IA ont déjà résolu d'importants problèmes ouverts. Selon OpenAI, cela inclut le problème de Navier-Stokes concernant les équations qui décrivent l'écoulement des fluides, l'un des célèbres Problèmes du prix du Millénaire. La physique théorique n'a pas encore connu de percée comparable.

Les auteurs expliquent qu'un calcul concret avec un résultat vérifiable n'intervient qu'à la fin du processus de recherche. Avant cela, quelqu'un doit construire une théorie et lui poser les « bonnes » questions. Lorsqu'un problème s'avère trop difficile, un bon chercheur passe à un problème connexe plus simple et tout aussi intéressant. Les agents actuels ne sont pas bons dans ce domaine.

Les physiciens partagent également une idée, certes loin d'être unanime, de ce qui rend un problème intéressant. Les agents ne semblent pas encore avoir ce « goût ». Lorsqu'on leur demande de concevoir de nouveaux problèmes, ils se perdent dans des détails qu'un humain jugerait ennuyeux.

Les chercheurs soulignent que ces observations ne peuvent pas être quantifiées et ne constituent pas une prévision de la direction que prendra l'IA. Ils pensent que des agents d'IA pourraient mener seuls des recherches de haut niveau dans un avenir proche, mais cela exigera plus que la capacité à résoudre des problèmes.

L'IA transforme déjà la formation des physiciens et les personnes capables de rivaliser

Les auteurs constatent déjà des conséquences sur la formation. Jusqu'à récemment, certains des problèmes du benchmark auraient bien fonctionné comme premiers projets de recherche pour des chercheurs en début de carrière. Ce n'est plus approprié, sauf si l'objectif est explicitement simplement de travailler le contenu.

Ils pointent également un problème structurel : la physique théorique a historiquement nécessité beaucoup moins d'argent que la recherche expérimentale, ce qui a maintenu les opportunités dans le domaine relativement égales. Des agents d'IA performants pourraient changer cela. Les problèmes du benchmark restent bon marché à résoudre, et l'exécution complète d'Astra a coûté environ 116 $. Pour des problèmes plus difficiles, cependant, les auteurs s'attendent à ce que les besoins en ressources augmentent fortement. À ce moment-là, le budget d'un groupe de recherche pourrait avoir davantage de poids sur ce qu'il peut accomplir, même en physique théorique. Les auteurs disent que cela soulève des questions d'accès et d'égalité des chances dans le domaine.

Les mathématiques débattent déjà de ces questions, par exemple autour de la Déclaration de Leyde. Les auteurs estiment que la physique théorique devrait en débattre elle aussi, avant que l'IA ne bouleverse le domaine. Jusqu'ici, au moins une école de pensée en physique a exhorté les chercheurs à « se taire et calculer ». Si le goût et la vision commencent à compter davantage, les physiciens pourraient devoir « s'arrêter et réfléchir » à la place.

Actualités IA sans le hype – Curaté par des humains

Abonnez-vous à THE DECODER pour une lecture sans publicité, une newsletter IA hebdomadaire, notre rapport exclusif « AI Radar » sur la frontière six fois par an, un accès complet aux archives et l'accès à notre section de commentaires.

Lisez la suite pour une vue d'ensemble complète.
Abonnez-vous pour une couverture sans hype.

• Accès complet à tous les articles de THE DECODER
• Sans publicité
• Rejoignez les commentaires et les discussions communautaires
• Un récapitulatif hebdomadaire de l'actualité IA par e-mail
• 6x/an : « AI Radar » — analyses approfondies des sujets IA les plus importants
• Actualité IA quotidienne, toujours à jour
• Nos archives complètes de dix ans
• Couvert par une équipe comptant plus de 10 ans d'expérience dans l'IA