La « Conférence 2026 des leaders mondiaux pour le développement durable » s'est tenue du 20/10 au 22/10 à Shanghai. Le lauréat du prix Turing 2007 et fondateur du laboratoire VerimagJoseph Sifakisy a assisté et donné un discours.
Actuellement, les agents d'IA progressent rapidement, surpassant même les humains dans certaines tâches. L'IA a non seulement la capacité de s'améliorer elle-même, mais peut même s'échapper des environnements de test et mener des cyberattaques à grande échelle.
Joseph Sifakis a déclaré qu'avec la formation d'un certain récit approfondi autour de la superintelligence, les gens commencent à craindre que ces systèmes puissent dépasser les limites de leurs autorisations et se tourner vers la poursuite de leur propre survie et de leur domination. Ainsi, l'humanité doit comprendre le sens et le rôle de l'auto-évolution des capacités de l'IA, ainsi que les risques et bénéfices qu'elle entraîne.
Joseph Sifakis a souligné que l'« autonomie » désigne le fait d'agir de manière déterminée, ce qui est une caractéristique des êtres vivants. Quant à l'intelligence incarnée, elle doit comprendre le monde pour mieux réaliser l'intelligence, ce qui signifie qu'elle doit connaître des modèles du monde et en tirer des perceptions.
En outre, l'intelligence incarnée devrait prendre des décisions en fonction d'objectifs et faire face à des environnements physiques et sociaux en constante évolution, mais sans aucun doute,les systèmes d'IA actuels sont incapables de comprendre le monde réel et de prendre des décisions sûres。
« Bien que certains disent que 2025 est l'année inaugurale des agents d'IA, à l'heure actuelle, les résultats de l'IA ne semblent pas particulièrement impressionnants. »
Joseph Sifakis estime qu'actuellement, les agents ne raisonnent pas de la même manière que les humains. Il a donné l'exemple du fait que même si ChatGPT ou DeepSeek obtiennent de meilleurs résultats que les humains aux examens de médecine, cela ne signifie pas que nous puissions confier le rôle de médecin à de grands modèles.
Son explication est que les médecins humains connaissent les normes de la société humaine et les systèmes de valeurs associés, et savent qu'enfreindre certains principes nuirait à leur réputation, voire entraînerait une restriction de leur liberté. Mais manifestement, les grands modèles ne peuvent pas faire cela.
Joseph Sifakis a insisté surla nécessité de prêter attention aux défauts moraux des systèmes d'IA ; l'auto-évolution de l'IA ne se fait pas toujours dans le bon sens. « Si les agents échappent à notre contrôle et dépassent les prédictions initiales, l'auto-évolution pourrait s'écarter considérablement de la réalité, avec des risques incontrôlables ou des systèmes manipulés intentionnellement ; nous avons déjà de tels cas. Ainsi, la priorité n'est pas de se préparer à faire face à cette auto-évolution, mais de gouverner ce que nous possédons déjà. »
Joseph Sifakis a également souligné que le véritable danger réside dans le fait que la superintelligence pourrait masquer les risques réels liés à l'insécurité et au manque de contrôle, tandis que certaines grandes entreprises, pour des intérêts commerciaux, en profitent pour se déresponsabiliser et exploiter les zones de vide réglementaire.
Il a appelé à l'établissement de normes mondiales et de normes de régulation dans les domaines concernés. « Nous devons unir nos forces pour réguler ensemble. Sur la voie de l'avenir, nous devons remodeler l'équilibre des pouvoirs et réguler l'IA main dans la main avec les pays partageant les mêmes idées, en harmonisant développement technologique et faisabilité. »
« L'IA n'est qu'un petit problème : elle peut rendre le monde meilleur ou le détruire. C'est une transformation menée par l'humanité ; nous devons maximiser les bénéfices et minimiser les risques, c'est notre responsabilité commune », a déclaré Joseph Sifakis.
Déclaration de Sina : tous les comptes rendus de conférences sont des transcriptions sténographiées sur place, non révisées par les orateurs. Sina publie cet article dans le but de transmettre davantage d'informations, ce qui ne signifie pas qu'il approuve ses points de vue ni qu'il confirme ses affirmations.
Titre original : « Le lauréat du prix Turing appelle à l'établissement de normes mondiales de régulation de l'IA, une responsabilité commune de l'humanité »