Des mathématiciens appellent au boycott d'OpenAI après que des démonstrations générées par l'IA ont inondé leur domaine

Des mathématiciens appellent au boycott d'OpenAI après que des démonstrations générées par l'IA ont inondé leur domaine

Après qu'OpenAI a publié des centaines de manuscrits mathématiques générés par IA, l'Association for Human Mathematics appelle à un boycott. De nombreux articles sont si denses et étrangement rédigés que même les meilleurs experts ont besoin de l'aide de l'IA pour les déchiffrer, s'ils y parviennent. Un débat se dessine sur la question de savoir si un problème peut être considéré comme résolu avant que sa démonstration n'ait été vérifiée de manière indépendante et rendue compréhensible pour les humains.

L'Association for Human Mathematics (AHM) accuse OpenAI de violer les normes fondamentales de la recherche scientifique en publiant les démonstrations par IA et exhorte les mathématiciens à cesser de travailler avec la société.

Le médaillé Fields Terence Tao, qui préside le groupe, a partagé la déclaration en tant qu'article invité sur son blog, tout en esquissant sur Mastodon une ère « Math 2.0 » dans laquelle la résolution de problèmes ne devrait plus être le principal centre d'intérêt de la discipline. Le théoricien de la complexité Scott Aaronson a décrit la situation comme une « Mathocalypse » sur son blog.

La déclaration de l'AHM intensifie un débat de plusieurs mois. OpenAI avait déjà fait sensation en affirmant qu'un modèle interne avait résolu plus de 100 problèmes mathématiques ouverts en un seul mois, dont une approche du problème du millénaire de Navier-Stokes. En réponse aux critiques croissantes, OpenAI a mis en place le groupe consultatif AGMAI à l'Institute for Advanced Study, bien que le groupe n'ait explicitement aucun pouvoir sur le rythme de la recherche interne de la société.

L'AHM voit dans cette publication une démonstration de force

L'AHM affirme qu'OpenAI a déjà ignoré la prémisse centrale des conseils de l'AGMAI, selon laquelle les problèmes mathématiques avancés ne devaient pas être testés sur des modèles internes. « Les mathématiciens n'ont pas demandé que ce travail soit fait », indique la déclaration, qualifiant la publication de plus de 700 fichiers d'un coup de « démonstration de savoir-faire, mais une démonstration de puissance. »

Le paragraphe d'ouverture de la déclaration évoque également les nombreux procès en violation du droit d'auteur qu'OpenAI mène à travers le monde, suggérant sans le dire directement que la société n'a pu obtenir ces résultats qu'en s'entraînant sur le travail des mathématiciens, que ce soit légalement ou non.

Le même différend a refait surface lorsqu'OpenAI a récemment annoncé une solution au problème de Navier-Stokes peu de temps avant que deux mathématiciens puissent présenter leur propre solution assistée par IA. Les deux avaient utilisé ChatGPT dans leur travail, et OpenAI a nié les soupçons selon lesquels elle aurait utilisé les données de ces interactions pour entraîner son propre système et parvenir plus rapidement à une solution.

Aaronson oppose cela à ce qu'il appelle le « modèle Anthropic ». OpenAI publie en une seule fois des ébauches brutes de preuves d'IA, déclenchant une course pour les examiner. Anthropic a plutôt noué un partenariat avec deux chercheurs en algorithmique dont le modèle d'IA a fourni l'idée clé pour réfuter deux conjectures vieilles de deux décennies. Les chercheurs ont été rémunérés et ont rédigé une version de la preuve que des humains pouvaient suivre.

Les deux approches présentent des inconvénients. La méthode d'OpenAI laisse à la communauté le travail ingrat de rendre les preuves lisibles, gratuitement. La méthode d'Anthropic permet à une entreprise privée de choisir quels mathématiciens serviront d'« émissaires » pour un résultat.

L'IA fait éclater les problèmes mathématiques plus vite que quiconque ne peut vérifier les résultats

Tao avait auparavant rejoint 24 autres médaillés Fields, dont Peter Scholze, Maryna Viazovska et Martin Hairer, pour signer une déclaration mettant en garde contre un « désalignement sévère » entre les objectifs de l'industrie de l'IA et ceux des mathématiques. La résolution de problèmes, argumentent-ils, n'est qu'un outil pour le véritable objectif de la discipline, la compréhension conceptuelle, et la production de masse de problèmes résolus à un rythme toujours plus rapide pourrait « détruire un terrain fertile au lieu de donner vie à de nouvelles idées. »

Les signataires critiquent également les annonces précipitées de solutions générées par l'IA sans rédactions appropriées ni citations des travaux antérieurs pertinents, affirmant que cela soulève de « graves questions d'attribution et de plagiat. »

Sur Mastodon, Tao va maintenant plus loin. En mathématiques traditionnelles, les preuves de problèmes ouverts de longue date donnaient lieu à des conférences, des ateliers, de nouvelles collaborations et une inclusion dans les manuels, attirant de jeunes chercheurs qui s'efforçaient de les comprendre et de les contextualiser.

Désormais, il observe l'inverse. Des problèmes sont résolus de manière autonome par des utilisateurs d'IA qui n'ont aucun intérêt pour le domaine et ne peuvent pas comprendre suffisamment les résultats pour répondre à des questions ou donner des conférences, ce qui produit bien moins de séminaires et de collaborations que ne le feraient des percées traditionnelles. Les chercheurs retiennent également des pistes prometteuses par crainte que des concurrents ne leur volent la solution.

Pour Tao, le damage est irréversible. Une fois qu'un problème est considéré comme résolu, il ne peut plus être rendu non résolu. Le simple fait de savoir qu'une solution existe peut « contaminer », selon ses termes, la recherche d'autres approches susceptibles d'apporter des insights supplémentaires. Des solutions sont « récoltées » à grande échelle, laissant des branches entières des mathématiques moins fertiles qu'avant.

Tao soutient que l'ère « Math 2.0 » doit cesser de considérer la résolution de problèmes comme sa principale mesure du progrès et commencer à valoriser l'explication, la construction de communauté et l'ouverture de nouvelles directions de recherche, avec les changements correspondants dans la manière dont la formation, la publication et l'avancement de carrière sont jugés.

Cela s'appuie sur la vision antérieure de Tao de «mathématiques industrielles» de 2024, même si dans cette version les humains fixaient encore le rythme. L'IA était censée assister les mathématiciens un peu comme les moteurs assistent les joueurs d'échecs, permettant une recherche large et relativement superficielle qui complétait le travail plus profond des experts humains. Aujourd'hui, Tao voit ces rôles inversés. L'IA résout les problèmes profonds tandis que les humains travaillent les résultats après coup. Comme beaucoup d'autres experts, Tao a apparemment sous-estimé de manière grave le rythme du développement de l'IA.

Trois heures de calcul IA peuvent désormais égaler la carrière entière d'un mathématicien

Aaronson montre ce que cela signifie pour les chercheurs individuels à travers l'expérience de sa femme, Dana Moshkovitz, qui a consacré toute sa carrière à la conjecture des Unique Games, un problème ouvert en informatique théorique. La version publiée comprend une preuve revendiquée de celle-ci.

Dans des messages texte envoyés à Aaronson dans la nuit de la publication, elle a écrit : « On dirait quelque chose écrit par quelqu'un sous psychédéliques. » Une grande partie du document était incompréhensible. L'article citait de nombreux travaux sans expliquer pourquoi ils s'appliquaient, alors même que des résultats antérieurs auraient dû l'exclure.

« En gros, l'article est si horriblement rédigé qu'il est impossible de le lire sans l'aide de l'IA », a déclaré Moshkovitz. La preuve reposait sur une construction entièrement nouvelle et étrange qu'elle a décrite comme « une folie alien. »

Aaronson liste d'autres résultats en théorie de la complexité, en théorie des nombres et en recherche d'algorithmes, y compris des progrès partiels sur plusieurs des problèmes du millénaire Clay restants. Chacun d'entre eux, à son avis, aurait à lui seul figuré parmi les meilleurs résultats de l'année.

Un domaine est cependant notablement absent de la publication. La cryptographie. Citant des sources anonymes, Aaronson rapporte que les entreprises d'IA sondent maintenant discrètement les faiblesses des protocoles cryptographiques et des primitives. Environ 8,000 problèmes ont été testés au total, avec un taux de succès d'environ cinq pour cent et une moyenne de trois heures de calcul au niveau GPT-Pro par problème. Le modèle utilisé était vraisemblablement aussi le modèle interne actuel d'OpenAI, qui pourrait être déployé auprès des clients payants de ChatGPT dans les mois à venir.

Les mathématiciens sont divisés sur l'utilité d'un boycott

Les commentaires sur l'article de blog de Tao montrent à quel point le domaine est divisé. Plusieurs commentateurs soutiennent le boycott et proposent que les chercheurs cessent d'utiliser les produits OpenAI tout en appelant à une meilleure protection des serveurs de prépublications comme arXiv contre la collecte massive de données d'entraînement.

D'autres jugent la position de l'AHM irréaliste, arguant qu'OpenAI ne cessera pas de travailler sur les mathématiques et que les résultats publics sont meilleurs que les résultats privés. Un autre commentateur demande si un problème peut vraiment être considéré comme résolu lorsque ni les auteurs ni personne d'autre ne comprennent pleinement la preuve. Dans le cas de Navier-Stokes, il reste incertain de savoir si le résultat approfondit réellement la compréhension de quiconque en dynamique des fluides.

AGMAI elle-même adopte une position plus diplomatique que l'AHM, considérant cette publication comme une première étape, la compréhension mathématique des résultats ne faisant que commencer. Néanmoins, le groupe avertit que l'avenir de la recherche mathématique ne peut consister à travailler sur des résultats produits par des laboratoires d'IA.

« Les mathématiciens doivent pouvoir formuler leurs propres questions, développer leurs propres approches et explorer des directions qui n'ont pas été sélectionnées comme exemples des capacités d'un système d'IA. Un accès équitable à des outils de recherche puissants et à des ressources de calcul adéquates est essentiel à cette liberté », écrit l'organisation.

Actualités IA sans le hype – Curaté par des humains

Abonnez-vous à THE DECODER pour une lecture sans publicité, une newsletter IA hebdomadaire, notre rapport exclusif « AI Radar » sur les technologies de pointe six fois par an, un accès complet aux archives et l'accès à notre section de commentaires.

Lisez la suite pour avoir une vue d'ensemble.
Abonnez-vous pour une couverture sans exagération.

• Accès complet à tous les articles de THE DECODER
• Sans publicité
• Participez aux commentaires et aux discussions de la communauté
• Un récapitulatif hebdomadaire de l'actualité IA par e-mail
• 6x/an : « AI Radar » — des analyses approfondies sur les sujets de l'IA les plus importants
• Actualité IA quotidienne, toujours à jour
• La totalité de nos archives de dix ans
• Une couverture par une équipe forte de plus de 10 ans d'expérience en IA