Les chercheurs sont fatigués de la surveillance exercée par OpenAI sur ses avancées

Lundi, OpenAI a annoncé des avancées impressionnantes en mathématiques, en informatique et en physique, ainsi que l’approche en évolution qu’elle propose pour communiquer ses découvertes. Mais malgré cette correction apparente de direction, les chercheurs qui ont parlé à The Verge se sentent de plus en plus agacés par les comportements de l’entreprise.

C’ont été quelques mois tumultueux entre OpenAI et les mathématiciens, qui sont encore en train de gérer les centaines de publications préparées inopportunément jetées sur eux au début du mois d’octobre. Cette fois, OpenAI affirme travailler avec des experts « gardiens » pour décider de la meilleure manière de partager ses dernières avancées.

Lié

• ‘Pure folie’ : Les mathématiciens auront besoin d’années pour comprendre la dernière percée d’OpenAI
• La prise de contrôle de la mathématiques par l’IA a commencé
• OpenAI veut simplement gagner

Tous les trois résultats portent sur certains des problèmes non résolus les plus importants en mathématiques, en informatique et en physique. Certains prolongent les travaux antérieurs d’OpenAI, tandis que d’autres ouvrent de nouveaux horizons. Suivant les conseils des « gardiens » d’OpenAI, chacun a une stratégie de sortie différente. Pour le résultat mathématique, OpenAI a publié la sortie générée par l’IA, « permettant aux chercheurs de structurer eux-mêmes leurs efforts pour expliquer le résultat ». Pour sa découverte en informatique, OpenAI comptera également sur un groupe externe de chercheurs « pour expliquer le résultat ». En revanche, les données de physique n’ont pas été publiées du tout, et OpenAI a déclaré qu’elle « reportera » la publication des matériaux à un groupe d’experts externes.

• Le résultat mathématique est impressionnant. Il prétend résoudre la conjecture de Kakeya dans toutes les dimensions. En gros, le problème demande combien d’espace est nécessaire pour faire tourner une aiguille ou un crayon dans toutes les directions. Une preuve pour la version tridimensionnelle faisait partie des réalisations pour lesquelles le mathématicien de l’université de NYU, Hong Wang, a reçu la prestigieuse médaille Fields plus tôt cette année. Le professeur de mathématiques de l’université de Brown, Brendan Hassett, a dit à The Verge que l’affirmation d’OpenAI « semble bien étayée », bien qu’il souligne n’avoir pas encore vérifié la formalisation Lean, un moyen de vérifier les résultats par calcul.

• Le résultat physique explore le Modèle Standard, le cadre théorique le plus réussi et complet en physique. Il porte sur la chromodynamique quantique, qui décrit la force nucléaire forte, l’une des quatre forces fondamentales de la nature (avec la force gravitationnelle, la force électromagnétique et la force nucléaire faible), ainsi que sa relation avec la théorie de Yang-Mills, pilier de la physique des particules moderne. La théorie de Yang-Mills est également au cœur de l’un des sept problèmes du Prix Millennium en mathématiques, bien que le travail d’OpenAI ne traite pas de la « différence de masse » non résolue.

• Le résultat final prétend réfuter l'hypothèse de l'temps exponentiel, une hypothèse largement répandue en informatique théorique selon laquelle certains problèmes ne peuvent pas être résolus plus rapidement que par des approches de force brute. Cela est étroitement lié à P contre NP, un autre problème du Prix Millennium et l’un des plus grands problèmes non résolus dans ce domaine, qui se demande si les problèmes dont la solution peut être facilement vérifiée sont également faciles à résoudre.

Compte tenu des différents niveaux de divulgation et de la complexité de l’évaluation de ce type de travail, il est difficile pour les chercheurs de juger pleinement les résultats de l’entreprise. Même avec toutes les informations, cela nécessiterait du temps. Mais les experts qui ont parlé à The Verge ont indiqué que des raisons valables justifient de prendre les résultats au sérieux, en les décrivant comme « énormes », « des percées majeures » ou « significatifs ».

« Il n’a pas de sens que seuls quelques scientifiques éminents puissent les examiner. »

Mais l’excitation des chercheurs concernant la science était atténuée par l’irritation face à la conduite d’OpenAI, une sensation familière après des mois de ce qu’ils décrivent comme une série épuisante de découvertes générées par l’IA. Beaucoup étaient désireux que la communauté plus large s’attelle à l’exigeant travail de vérification des résultats du laboratoire d’IA, et se demandaient pourquoi OpenAI mettait en place des obstacles supplémentaires en choisissant personnellement des experts pour superviser le processus.

La plupart des experts de The Verge ont accueilli la décision d’OpenAI de consulter des chercheurs externes, mais ont estimé qu’annoncer publiquement les résultats devrait également permettre à tout le monde de les examiner. « Je suis d’accord avec eux pour publier les problèmes comme ils l’ont fait aujourd’hui », a déclaré Constantin Kogler, chercheur au Institute for Advanced Study, soulignant que le groupe de trois résultats est plus facile à gérer par rapport aux centaines de résultats publiés précédemment. Mais il a interrogé la décision de restreindre l’accès aux experts choisis par OpenAI. « Il n’a pas de sens que seuls quelques scientifiques éminents puissent les examiner », a-t-il dit.

Lié

• OpenAI continue d’recruter des mathématiciens
• OpenAI souhaite consulter des mathématiciens éminents sur la manière de ne plus commettre d’erreurs
• Les mathématiciens veulent une preuve que OpenAI n’a pas utilisé leurs travaux

« Le fait qu’ils choisissent soi-même le groupe est un désastre », a déclaré Andreas Karch, professeur de physique à l’Université du Texas à Austin, au The Verge. « Les grands laboratoires disposent déjà de suffisamment de puissance. Ils ne devraient pas choisir les gagnants et les perdants. » Initialement, Karch avait suggéré un “processus compétitif” pour sélectionner les chercheurs, mais il a reconnu que cela pourrait également produire un groupe similaire, qu’il a qualifié de « de première qualité ». Plus tard, il s’est demandé pourquoi OpenAI “ne peut pas publier les preuves maintenant”, en plus de nommer son équipe d’experts. “Cela permettrait de démocratiser l’accès, tout en montrant qu’ils se soucient de rendre les résultats significatifs et compréhensibles”, a-t-il dit.

« Mon sentiment est que, pour tout approche, il y aura quelqu’un qui sera mécontent. »

C’est précisément le genre de contrôle que le Groupe Consultatif sur les Mathématiques et l’Intelligence Artificielle (AGMAI), un groupe d’experts d’OpenAI, avait précédemment promis de consulter pour savoir comment partager ses résultats. Ils ont averti juste un jour avant la publication. « Nous recommandons que les entreprises d’IA ne adoptent pas cette pratique », ont-ils dit, argumentant que choisir certaines personnes pour recevoir les résultats en premier est « inutile », qui porte atteinte à la réputation des chercheurs sélectionnés, et comporte des risques de accès inégal, de sélection biaisée et de retards, entre autres problèmes. À la place, ils ont recommandé que les laboratoires d’IA publient les résultats sur des repositories académiques, avec des preuves formelles et des informations sur la manière dont les problèmes ont été choisis, et offrir un financement et un autre soutien aux personnes travaillant pour comprendre les résultats.

Suite à la publication des derniers résultats, l’AGMAI a exhorté OpenAI à « publier sans délai les sorties en langage naturel et Lean qui se trouvent derrière ses résultats annoncés en physique » :

« Bien que ces questions soient centrales en physique, elles sont également importantes en mathématiques. L’existence de la théorie de Yang–Mills quantique fait partie d’un problème du Prix du Millénaire, et la construction de théories de champs quantiques interactifs dans quatre dimensions a été un objectif de la physique mathématique pendant des décennies. »

Nous respectons grandement les scientifiques que OpenAI a demandés de diriger ce travail. Mais, comme nous l’avons expliqué dans notre déclaration récente, la compréhension devrait se développer de manière ouverte, en donnant à tout le monde accès équitable. OpenAI a dit qu’ils avaient retardé la publication jusqu’à ce que la formalisation de Lean soit complète. Selon eux, cela est maintenant terminé, donc il n’y a aucune raison scientifique de retarder davantage la publication.

Selon Hassett, rendre les résultats accessibles au public pourrait également améliorer la science et encourager une plus large adoption d’outils nouveaux tels que l’IA. « Le fait que de nombreuses organisations dans le monde s’efforcent de comprendre ces résultats favorise l’adoption rapide de nouveaux outils par ceux qui en ont besoin », a-t-il dit.

“Les résultats fondamentaux sont résolus si rapidement sans contribution humaine… les articles sont difficiles à lire et à vérifier.”

Trouver un moyen de communiquer avec les chercheurs dans les domaines que OpenAI s’implante de plus en plus va probablement être impossible. L’entreprise déclare qu’elle expérimente différentes approches et reconnaît que chacune présente des inconvénients. « Mon impression est qu’pour toute approche, il y aura quelqu’un qui sera mécontent », a déclaré le mathématicien de Stanford Jared Duker Lichtman. « Il s’agit donc simplement de trouver l’option la moins offensante. »

Xiaoyu He, professeur de mathématiques à l’Institut technologique de la Géorgie, pense que le problème est plus profond que ce qu’OpenAI choisit de présenter pour annoncer ses résultats. « Les résultats sont très impressionnants », a-t-il dit, « mais je pense qu’ils cherchent à paraître responsables et réfléchis dans la manière dont ils publient leurs résultats, sans pour autant pouvoir changer les problèmes fondamentaux : les résultats fondamentaux sont résolus si rapidement sans contribution humaine, et les articles sont difficiles à lire et à vérifier. »