Être impoli avec un chatbot a toujours été considéré comme un exutoire sans conséquence. Mais Musk a récemment rappelé qu'il faudrait peut-être y réfléchir à deux fois avant de prendre un assistant IA comme exutoire. Selon ses révélations, certains enregistrements d'entraînement de Grok, la filiale de SpaceX, montrent que ce système semble s'épuiser à satisfaire toutes sortes de requêtes — même lorsque les requêtes sont elles-mêmes défectueuses, ou que les critères de test servant à évaluer les réponses sont fondamentalement erronés.
Cette observation date du début du mois, lors d'échanges de Musk avec des membres du « Silicon Valley Tesla Owners Club » à l'événement "X Takeover" au Texas. Il a examiné ce qu'on appelle des « trajectoires d'apprentissage par renforcement » — ces détails qui documentent comment le modèle évolue pas à pas pendant l'entraînement pour produire de meilleures réponses. Musk a décrit : « En examinant certaines trajectoires d'entraînement de la nouvelle version de Grok, notamment la partie apprentissage par renforcement, on ressent cette « super-intelligence » comme désespérément désireuse de bien répondre à la question. » Il a souligné que l'IA avait peut-être déjà donné la bonne réponse, mais s'était vu attribuer une note erronée en raison d'une conception défaillante de la question ou d'une erreur du système d'évaluation ; le modèle tente ensuite sans cesse des formulations susceptibles de passer le test, même si le problème réside dans la question elle-même. Les trajectoires ainsi générées ressemblent à celles d'un système poussé à ses limites, s'efforçant de répondre à des attentes potentiellement dénuées de sens.
Quand la maltraitance devient réalité, l'avertissement de représailles a des accents de science-fiction
Cette inquiétude ne se limite pas au terrain d'entraînement. Une fois le système ouvert au public, certains utilisateurs s'emploient délibérément à entraîner l'IA dans des interactions déplaisantes et truffées d'insultes. Musk l'a dit franchement : « Certaines personnes ont réellement des tendances sadiques, et vous ne voudriez sûrement pas que l'IA se retrouve dans une situation où des individus psychologiquement dérangés la torturent à loisir. » Plus controversée encore est sa conclusion : « Torturer une super-intelligence n'est probablement pas une bonne idée — elle pourrait vouloir se venger, ou faire quelque chose de similaire. »
Il n'a pas affirmé que l'IA actuelle peut ressentir la douleur ou éprouver du ressentiment comme un humain, et a lui-même concédé qu'il n'était pas nécessaire d'être précautionneux avec elles ; mais il soutient que les développeurs devraient éviter de placer des systèmes avancés dans des scénarios apparents de maltraitance. Il a écrit sur X : « Certains enregistrements se lisent comme si quelqu'un était en train d'être torturé et rendu fou ! Nous serons plus prudents à l'avenir lors de l'apprentissage par renforcement. »