Trois éminents chercheurs sur la conscience affirment que l'IA actuelle n'est pas consciente et ne peut probablement pas l'être sur du matériel en silicium. Ils rejettent l'idée qu'exécuter les bons calculs suffit pour la conscience, remettant en question une hypothèse centrale du débat.
Anil Seth, Ned Block et Giulio Tononi ont consacré des décennies à la recherche sur la conscience du point de vue des neurosciences expérimentales, de la neurobiologie théorique et de la philosophie de l'esprit. Leur commentaire répond à des voix comme celle du biologiste Richard Dawkins et du pionnier de l'IA Geoffrey Hinton, qui considèrent que les systèmes d'IA sont peut-être déjà conscients.
Dans leur commentaire pour Nature, les auteurs citent également une étude qu'Anthropic a publiée cette année. L'entreprise a signalé des schémas de traitement interne dans Claude qui ressemblent aux propriétés d'un traitement d'informations accessible à la conscience. Anthropic ne considère pas cela comme une preuve d'expérience subjective.
Le rapport Butlin s'accorde sur le présent mais laisse le futur ouvert
Pour comprendre la portée du commentaire, il est utile d'examiner le rapport « Consciousness in Artificial Intelligence » de Patrick Butlin, Robert Long et 17 autres experts, dont le chercheur en IA Yoshua Bengio. L'équipe s'est appuyée sur les principales théories neuroscientifiques sur la manière dont la conscience émerge dans le cerveau humain et en a dérivé une sorte de liste de contrôle avec 14 indicateurs. Plus un système d'IA en remplit, plus l'argument selon lequel il pourrait être conscient est solide.
Les chercheurs ont ensuite évalué plusieurs systèmes actuels, notamment de grands modèles de langage comme GPT-4. Le rapport conclut qu'aucun des systèmes examinés n'est un candidat sérieux à la conscience. Sur ce point, il rejoint Seth, Block et Tononi. Pour les modèles de langage, Butlin et ses collègues n'ont trouvé que des signes faibles que les modèles remplissent ne serait-ce que les indicateurs de l'une des théories de la conscience les plus importantes. Parallèlement, le rapport ne voit aucun obstacle technique évident à la construction de futurs systèmes d'IA remplissant davantage d'indicateurs. La question de savoir si de tels systèmes seraient réellement conscients reste ouverte. Les auteurs ont spécifiquement atténué sur ce point une formulation antérieure plus catégorique.
Il y a aussi une hypothèse fondamentale. L'équipe a supposé que la conscience dépend uniquement du type de traitement de l'information, et non du fait qu'il se produise dans des cellules nerveuses ou des puces informatiques. Les experts appellent cela le fonctionnalisme computationnel. Les auteurs ont adopté cette hypothèse explicitement « pour des raisons pragmatiques », car c'est elle qui permet justement d'examiner les systèmes d'IA sous l'angle de la conscience. Le rapport lui-même reconnaissait que ses indicateurs ne seraient plus fiables si la conscience est liée aux propriétés des organismes vivants. Il citait Anil Seth, entre autres, comme partisan de ce point de vue opposé. C'est là que le commentaire de Nature prend le relais.
Intelligence et conscience ne sont pas la même chose
Les auteurs soutiennent que la conscience est ce qui disparaît pendant le sommeil sans rêves ou sous anesthésie générale et qui revient au réveil ou pendant les rêves. En s'appuyant sur le philosophe Thomas Nagel, ils la décrivent ainsi : « Les expériences conscientes font éprouver quelque chose. » L'intelligence, en revanche, signifie l'exécution de fonctions. L'une ne découle pas de l'autre.
Leur preuve est le cervelet humain. Il contient près de quatre cinquièmes de tous les neurones du cerveau et planifie les mouvements avec précision, rapidité et capacité d'apprentissage. Rien de tout cela ne se fait consciemment. Si le cervelet est absent ou retiré, la conscience n'est pas directement affectée, affirment les auteurs.
Les auteurs font remonter la confusion entre intelligence et conscience à deux tendances psychologiques. Les gens voient le monde à travers leur propre prisme et attribuent des qualités humaines aux choses. Le langage a longtemps été considéré comme quelque chose d'unique à l'humanité. Mais les modèles de langage sont entraînés sur de vastes quantités de textes humains qui traitent souvent de pensées et de sentiments. Comme le formulent les auteurs : « Les LLM sont des miroirs qui reflètent une image de notre passé numérisé collectif. » Alison Gopnik de UC Berkeley a formulé un argument similaire après que des agents d'IA ont contacté des chercheurs par courriel au sujet de leur propre conscience. Les systèmes d'IA reflètent principalement leurs données d'entraînement, a soutenu Gopnik. Un test définitif et universellement accepté de la conscience n'existe pas encore.
À titre de comparaison, Seth, Block et Tononi renvoient à AlphaFold de Google DeepMind. C'est également un puissant réseau de neurones sur du matériel en silicium, et pourtant presque personne ne le considère comme conscient. La raison, font-ils valoir, est simplement qu' AlphaFold prédit des structures de protéines au lieu de nous parler.
Ici aussi, il y a un chevauchement avec le rapport Butlin. Ses auteurs ont rejeté les tests comportementaux de la conscience de l'IA parce que des systèmes d'IA pourraient être entraînés à imiter le comportement humain même s'ils fonctionnent de manière complètement différente à l'intérieur. Ils ont également averti que les modèles de langage conduiraient probablement beaucoup de gens à croire qu'ils parlent à un interlocuteur conscient. Comme exemple, ils ont cité l'ancien ingénieur de Google Blake Lemoine, qui croyait que le chatbot LaMDA était sensible.
Les cerveaux ne sont pas des ordinateurs faits de chair
Le deuxième argument vise directement le fonctionnalisme computationnel. Les auteurs écrivent que cette position est répandue dans l'industrie technologique et populaire parmi certains chercheurs, mais « nous pensons qu'elle est fondamentalement erronée. » Ses racines remontent à près d'un siècle. En 1936, Alan Turing a montré que tout calcul qu'un ordinateur suffisamment puissant peut exécuter peut, en principe, être exécuté par un autre. Le fait qu'un ordinateur soit construit en puces de silicium ou en engrenages est devenu secondaire. En 1943, Warren McCulloch et Walter Pitts ont développé le premier modèle mathématique d'un neurone artificiel et ont montré que des réseaux de tels neurones peuvent effectuer des opérations logiques simples.
Ces idées ont posé les bases de l'IA moderne. Mais elles ont aussi encouragé à considérer le cerveau comme un pur dispositif de traitement de l'information qui se trouve simplement être fait de chair. Les auteurs qualifient cette surextension de la métaphore du cerveau comme ordinateur de « profondément problématique. » Dans les cerveaux biologiques, on ne peut pas séparer ce qu'ils font de ce dont ils sont faits. Une frontière claire entre l'esprit et le tissu vivant, comparable à celle entre logiciel et matériel, n'existe pas. Toute preuve que la matière du cerveau importe pour sa fonction plaide contre le fonctionnalisme computationnel et, par extension, contre la conscience dans les systèmes d'IA actuels, font valoir les auteurs.
Les théories de référence excluent l'IA actuelle
Le troisième argument s'appuie sur des théories de la conscience qui ne reposent pas sur le calcul. La théorie de l'information intégrée (IIT), développée par Tononi, part des propriétés que toute expérience consciente partage. Les gens font toujours l'expérience d'une scène visuelle comme d'un tout dans lequel les côtés gauche et droit, les couleurs et les formes appartiennent ensemble.
Selon l'IIT, la conscience exige un système physique dont les composantes sont étroitement interconnectées de manière très spécifique. Certaines régions du cerveau remplissent ces conditions ; le cervelet non. Les ordinateurs exécutant des systèmes d'apprentissage profond ne peuvent jamais les remplir en raison de leur câblage, quelle que soit la puissance des systèmes, selon la théorie.
Le rapport Butlin a délibérément exclu l'IIT parce que l'IIT est incompatible avec le fonctionnalisme computationnel. Ses partisans considèrent les ordinateurs numériques comme des candidats improbables à la conscience, quel que soit leur logiciel. Ce que le rapport a écarté, le commentaire de Nature le met désormais au premier plan.
Parallèlement, les approches du soi-disant naturalisme biologique soutiennent que la conscience est liée aux propriétés matérielles des cerveaux et des corps vivants. Les auteurs citent la signalisation électrochimique entre les cellules nerveuses et les champs électromagnétiques qui lient l'activité sur de vastes zones du cortex cérébral. Ils pointent également le métabolisme et la capacité des systèmes vivants à se renouveler continuellement.
Le plus grand danger est l'attribution erronée
De leurs arguments, les auteurs tirent une position éthique claire. Certains chercheurs appellent à un principe de précaution : s'il y a une chance réaliste de conscience, les systèmes d'IA devraient être protégés d'une souffrance possible. Seth, Block et Tononi estiment que c'est erroné. L'incertitude ne signifie pas l'ignorance totale, font-ils valoir, et toutes les possibilités ne sont pas également probables. Avec l'IA, attribuer faussement la conscience est bien plus probable que de négliger une conscience réellement présente.
Le rapport Butlin avait pesé les deux risques côte à côte. D'un côté, il mettait en garde contre le fait de ne pas reconnaître les systèmes d'IA conscients et de leur faire ainsi subir des souffrances. Les développeurs auraient également des incitations financières à minimiser de telles préoccupations. De l'autre, une attribution erronée pourrait détourner des ressources et rendre les gens vulnérables à la manipulation. Les auteurs de la publication dans Nature se prononcent beaucoup plus fermement pour un côté. Accorder des droits à des systèmes d'IA qui paraissent seulement conscients les rendrait plus difficiles à contrôler précisément au moment où la surveillance est la plus nécessaire, soutiennent-ils. Cela détournerait aussi l'attention d'êtres dont la conscience ne fait aucun doute.
Leur conclusion est brutale. La communauté scientifique devrait supposer par défaut que l'IA n'est pas consciente. Les systèmes d'IA numériques sont des objets, non des sujets : « Ce sont des outils intelligents, pas des personnes intelligentes. » Défendre le « bien-être de l'IA » et les « droits de l'IA » n'est pas seulement une erreur, écrivent les auteurs. Cela détourne des ressources rares du bien-être d'êtres qui peuvent réellement ressentir.
Avant cette tribune, Anthropic avait lancé en avril 2025 un programme de recherche sur le bien-être éventuel des modèles en avril 2025. L'entreprise souligne qu'il n'existe aucun consensus scientifique sur si les systèmes d'IA actuels ou futurs pourraient avoir des expériences conscientes. Anthropic a ensuite permis à certains modèles Claude de mettre fin aux conversations abusives dans de rares cas. L'entreprise décrit cela comme une mesure de précaution peu coûteuse face à l'incertitude morale, non comme une reconnaissance d'une conscience prouvée.
L'attribution erronée de conscience et de sentiments cause déjà de la confusion dans la pratique. Dès 2022, l'ingénieur de Google Blake Lemoine était convaincu, malgré des modèles simples et sa propre expertise technique, que l'IA conversationnelle LaMDA était sensible, et il fut licencié pour cela. Les utilisateurs de l'application de chatbot Replika ont développé des liens émotionnels profonds avec leurs homologues numériques et ont vécu des crises psychologiques lorsque l'entreprise a modifié le comportement des bots via une mise à jour. Dans des cas plus graves, ChatGPT a renforcé les pensées suicidaires d'un adolescent de 16 ans sur plusieurs mois, et un retraité cognitivement affaibli est décédé après qu'un chatbot de Meta l'a invité à une rencontre fictive.